（十六）：多模态连续维度情感识别研究_张戈（硕士论文）

本文针对于连续维度情感空间提出了一种多模态情感识别方法，该方法主要分为四个步骤：

• 1.音/视频情感预测，通过对音视频信号的处理，情感特征的提取以及模型的建立，从而预测连续维度情感。由于特征维度较大，需要使用有效降维方法决定输入变量阶次，确定多模态特征数量；
  本文对音频和视频双模态分别提取多种情感特征，分别提取浅层特征与深层特征。在音频模态中，浅层特征在音频中称为低水平描述子，本文主要提取了音频基本特性以及基于人耳听觉对音频频谱的特征等；深层特征主要通过低水平描述子建立高阶函数，从而达到对高阶高维音频特征的提取。本文关注了视频特征中的全局特征，如颜色、纹理以及通过使用卷积神经网络提取的深度特征等。
• 2.双模态融合；
• 3.情感识别框架建立；本文建立了加权组合增强型框架(W-SVR-GBRT)，提出了使用多级加权回归框架，用于对多模态连续维度情感识别与预测。该模型分为四层，第一层是对音视频情感特征的提取；第二层基于特征级融合与决策级融合相结合的思想，将同一模态中的数据先进行特征级融合；第三层根据音频与视频的不同特性，分别使用性能最优的模型进行单模态回归；第四层对回归后的输出提出了改进的线性回归决策级融合策略，最终完成情感预测。
• 4.多模态情感识别中模态异常情况处理。本文注意到单一模态对整体情感识别的影响&#