INTERACTION AND TRANSITION MODEL FOR SPEECH EMOTION RECOGNITION IN DIALOGUE 语音情感识别（对话级别的论文）

介绍

作者、单位：
这篇文章简单介绍一下，本来语音情感识别的对象都是sentence 而不是dialogue，相比而言，就不需要知道上下文的相关信息，而大部分的数据库的标注都是有分开也有放在一起的，比较知名的数据库IEMOCAP就是既有对话也有短句，这篇文章的目的就是基于对话级别的来进行判断连续对话的情感识别，因为之前我也讲过，连续是需要考虑上下文的，所以该文章作者是直接使用RNN这种考虑到前面结构的方式来进行作为网络结构

结构

图3中表示的是训练的时候先训练普通模式的片段来进行语音情感识别的过程，然后通过训练片段级别的直接->对话级别的训练模型
图2表达的是其中模型的内部结构通过使用LSTM形式来对前面信息的保留 作为后序的输出格式

结果

从数值上来看，这对于当前的片段语音情感识别不太高，是很多的baseline的准确率，但是作为17年的一篇文章，其提出的处理方法，是对于后面的人来继续对话级别的文章是有着很大的帮助，而且数据集中的片段都是从对话中切分出来的，所以研究对话还是主要热点

Conclusion

未来的工作包括分析情绪类别的影响。EIT目前使用其他类作为标签来覆盖几种不同类型的情绪。需要研究在情绪识别中利用情境信息的最佳情绪类别集。其他工作包括评估EIT，并将视觉和语言特征等多模态信息集成到我们的框架中。

---

上面是作者的future work 从当前来看，这种处理形式也是比较有利的进行对话级别的语音情感识别，通过片段推理到整个语音段，这是个不错的开始，然后使用LSTM形式来对上下文的输入，让模型来记住之前的状态，毕竟这是处于对话的，之前的对话肯定是对后面产生影响。后续个人认为，从当前这种模式出发，使用speech+text 来进行情感的识别，而且不需要使用那种切分开，而是直接是使用RNN-LSTM形式来直接用来训练，不需要分开，然后通过non-linear模式将多模态进行fusion。