基于交互注意力机制的多模态情感识别算法

基于交互注意力机制的多模态情感识别算法

论文介绍

原著:
《基于交互注意力机制的多模态情感识别算法》
2021 Application Research of Computers

研究问题

多模态机制下的情感识别，在多模态下，需要提取大量的特征。但特征数量多，造成一是训练参数增大。二是产生噪声，关键信息被遗漏。在模型融合时，要关注主要特征，因此需引入注意力机制。

研究方法

文章研究文本+语音的多模态。提出的多交互注意力机制网络：GATASA(Global Acoustic-to-text and Acoustic-to-Self Acoustic to Text) 。两（互补）部分组成：1、GATA ：强调所有的信息。2、ASATA：强调局部信息。这两部分由两种不同的注意力机制在文本和音频特征之间交互计算注意力分数。

深度学习中的文本数据处理：去掉不需要的停止词(stop word) -> 对单词做词嵌入(embedding)。词嵌入通常基于现有的词向量(word vector)、基于预训练的Glove 、BERT 。对于多个数据源的特征，可加入注意力机制。

注意力机制

处理思路：通过对特征向量计算权重分数并加权求和。通过不同的权重分数体现特征的重要性。

组成：

• Query：单个输入向量
• Key ：多个特征向量

注意力机制分数：过点积或可学习参数投影等方法计算出来的Key 和 Query 的相互关系。