(五十五)：Learning Alignment for Multimodal Emotion Recognition from Speech

• 出处： INTERSPEECH 2019: 3569-3573;CCF-C
• 代码：https://github.com/ZhiqiWang12-hash/text_audio_classification
• 题目：基于语音的多模态情感识别的学习对齐
• 主要内容：我们提出了一种注意机制来学习原始语音和已识别文本之间的对齐，然后利用该机制来融合来自两种模式的特征。将融合后的特征输入序列模型进行情感分类。

Abstract

语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式既微妙又复杂。
对于人类语音的情感识别，可以从音频信号中提取与情感相关的特征，也可以使用语音识别技术从语音中生成文本，然后使用自然语言处理来分析情感。此外，使用语音-文本多模态信息有助于情感识别，构建多模态学习系统并非易事。
人们可以分别建立两个输入源的模型，并在决策级将它们组合起来，但这种方法忽略了语音和文本在时间域的交互。
在本文中，我们提出使用注意机制来学习语音框架和文本词之间的对齐，旨在产生更准确的多模态特征表示。将对齐后的多模态特征输入序列模型进行情感识别。
我们在IEMOCAP数据集上对该方法进行了评价，实验结果表明该方法在数据集上达到了最先进的性能。