多模态融合技术

此文摘抄于论文《多模态情感识别综述》
论文引用格式：贾俊佳, 蒋惠萍, 张廷. 多模态情感识别综述[J]. 中央民族大学学报(自然科学版), 2020.

1 多模态的情感特征提取

一般来说，采集后的原始情感特征都会掺杂一些冗余信息，如果我们直接对其特征进行分析，可能会造成情感结果分类的准确率偏低甚至是分类错误。所以，情感特征的提取方式是至关重要的。脑电信号数据量大，包含了很多伪迹信号，需要进行预处理和特征提取，面部表情也会直接影响情感识别的准确程度。
面部特征提取是一种对原始图片信息的加工和提炼的操作。特征提取的结果需要尽最大可能的保留其有利于情感分析的特征。根据面部图像处理方式，可以划分为三类: 全局特征提取、部分特征提取以及混合特征提取。

2 多模态特征融合技术

情感识别的完整过程如图 1 所示，根据对不同模态的信号在不同阶段的处理，可以将其分为信号级融合、特征级融合、决策级融合和混合融合。

2. 1 信号级融合

信号级融合，顾名思义是直接对采集的原始信号直接进行融合处理，然后再进行特征提取和识别［13］。这种融合方式保留了最原始的信号，所以精度高，但由于数据量大，处理时间长，导致其抗干扰能力差。一般来说，信号级的融合多用于同类信号间［14］。

2. 2 特征级融合

在图 1 中的第三阶段后对提取后的模态信号特征进行融合，将表情模态特征和脑电模态特征进行组合，联合成向量。这就是特征级的融合，如图 2 所示。该融合对各模态有较高的同步要求［15］。基于人脸表情和语音的双模态情感识别［16］，基于 SCCA 融合表情和语音特征，用 K 近邻来做最后的分器，并与单模态的情感识别进行对比，精度提高了很多［16］。另外，还有基于 EEG 和表情的融合，基于 Haar特征值的 Adaboost 算法［17］，可以实时监测人脸位置，利用 PCA 来降维和融合，最后用 CNN 来分类，不仅可以检测出情绪的分类，还可以检测出情绪的强弱程度［17］。

2. 3 决策级融合

在图 1 中的第四阶段后对各个单模态的分类结果进行融合，对每个模态的特征进行独立的检验和分类，并将结果融合为一个决策向量，如图 3 所示。该方法的优势在于从每个模式获得的决策的融合变得更加容易，每个模态都可以利用其最合适的分类模型来学习其特征。Hoch S 等在汽车环境的情感融合中将两个单模判决加权线性融合来与单一模态分类进行了对比［18］。任福继等在融合表情和 BVP 生理信号的双模态情感识别中，采用模糊积分将表情特征的分类和 BVP 特征的分类进行了融合［19］。在EEG 和面部表情的融合过程中，Yongrui H 等通过脑电和表情的检测，结合和规则和生产规则来融合分类，提升了分类精度［20］。Soleymani M 等利用线性混合模型在决策层融合 EEG 和表情，在提升分类效果的同时，也验证了在面部表情存在的情况下，EEG 信号仍然携带着互补信息［21］。

2. 4 混合融合

顾名思义，混合融合就是将信号级融合、特征融合和决策融合结合到一起。我们可以分两个阶段实现融合。在第一阶段中，分类器可以执行特征级融合。在第二阶段中，可使用决策级融合来将它与另一个分类器在生理( 如心率变异性) 特征上的分类结果进行融合。KIM J 等提出了一种简单的混合融合方法，将特征级融合的结果作为决策级融合阶段的附加输入［21］。