（十二）：多模态的情感分析技术综述

• 出处： 计算机科学与探索 2021-03-25
• 题目：多模态的情感分析技术综述
• 主要内容：

Abstract

情感分析是指利用计算机自动分析确定人们所要表达的情感，其在人机交互和刑侦破案等领域都能 发挥重大作用。深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件。结合多种模态进行情感分析可以弥补单模态情感分析的不稳定性以及局限性等缺点，能够有效提高准确度。近年来， 研究者多用面部表情信息、文本信息以及语音信息三种模态进行情感分析。主要从这三种模态对多模态情感分析技术进行综述:

1. 首先对多模态情感分析的基本概念以及研究现状进行简要介绍;
2. 其次总结了常用的多模态情感分析数据集;
3. 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述;
4. 接下来详细介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述;
5. 最后讨论了多模态情感分析存在的问题以及未来的发展方向。

引言

在基于深度学习的方法中，
面部表情信息主要用卷积神经网络 (convolutional neural networks, CNN)、深度神经网络 (deep neural networks, DNN)以及与传统方法相结合进行情感分析。
文本信息主要用循环神经网络 (necurrent neural network, RNsN)、长短期记忆网络 (Long Short-Term Memory, LSTM)来进行情感分析。
语音情感