基于多头注意力机制的模型层融合维度情感识别

基于多头注意力机制的模型层融合维度情感识别

论文介绍

原著：
《基于多头注意力机制的模型层融合维度情感识别方法》
2021 Journal of Signal Processing

研究问题

多模态下情感识别，需要解决多种模态怎么进行融合。常用的有三种方式，特征层融合、决策层融合、模型层融合。

目前研究大部分采用的是前两种融合方式（决策方式用得更多），但这两种方式都存在较大弊端。

特征层：只是对各个模态的情感特征进行简单拼接，并没有考虑到模态之间的信息交互。

决策层：虽然解决了不同模态之间的时序不同步问题，但是没有考虑到不同模态的情感特征信息的关联。

第三种方式解决了不同模态时序不同步的问题，同时考虑了不同模态的情感特征信息之间的关联性。

【多头注意力机制】：具有多个头部，而且每个头部都可以产生不同的注意力分布，解决的是信息中的长时依赖性（位置A与B学习的时间间隔长、但只要他们之间有关系，两者可保持依赖）

【注意力机制】是为了更好的关注有效特征。

本文就是在多模态下，提出多种注意力机制来研究模型层融合下的情感识别。

研究方法

评价指标：CCC（一致性相关系数）