多模态情感识别数据集和模型(下载地址+最新综述2021.8)

引用论文：Zhao, Sicheng, et al. “Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies.” arXiv preprint arXiv:2108.10152 (2021).
PDF链接：Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies.

新鲜出炉的赵思成和杨巨峰大佬的论文哦（情感识别领域的专家），全面的梳理了多模态情感识别(Multi-modal Emotion Recognition, MER)的多个关键方面，是一篇日期新鲜（2021.08），内容详实，高质量的综述，非常适合入门的同学入手和老司机们回顾总结。翻译和整理了一上午，有用请帮我点个赞再走吧，谢谢Thanks♪(･ω･)ﾉ~

一、多模态数据集

下表为多模态数据集，可以看到最后一列给出了下载地址，需要数据集的朋友们可以点上面链接地址进入文章下载，如果除了数据集还想了解多模态情感识别（MER）的其他章节内容（模型，难点，挑战，任务，方法，应用），请继续往下阅读哦~

二、广泛使用的情感表达模型

目前，学术界对情绪分类并没有统一的定义，一般的情绪分类主要有两大基本观点：离散模式(categorical emotion states (CES))和连续模式( dimensional emotion space (DES))。离散模式认为情绪具有完全不同的结构，连续模式认为不同情绪之间有着过渡阶段。

1、CES情感模型定义情感通过几个基本分类，包括以下：

binary sentiment ：positive and negative, sometimes including neutral；
Ekman’s six basic emotions： positive happiness, surprise and negative anger, disgust, fear, sadness；
Mikels’s eight emotions： positive amusement, awe, contentment, excitement, and negative anger, disgust, fear, sadness；
Plutchik’s emotion wheel ：eight basic emotion categories by three intensities；
Parrott’s tree hierarchical grouping ：primary, secondary and tertiary categories.

2、DES定义情感通过连续空间的2D，3D或更高维度的的卡尔坐标系，包括以下：

valence-arousal-dominance (VAD)：where valence, measure all emotions as different coordinate points in the continuous Cartesian space, but the absolute continuous values are beyond users’ understanding.

1. PAD情感三维理论是由Mehrabian 和Russell 于1974年提出的维度观测量模型 ，该模型认为情感具有愉悦度 、激活度和优势度3个维度，其中P代表愉悦度(Pleasure-displeasure)，表示主体情感状态的正负性；A代表觉醒度(Arousal-nonarousal)，表示主体的神经生理激活水平；D代表优势度(Dominance-submissiveness)，表示主体对情景和他人的控制状态，是个体情绪被控制和主导的状态，由内而外的自发情绪就是支配性的情绪如愤怒，由外而内的被动情绪就是服从性的情绪如害怕。同时也可以用这3个维度的值来代表具体的情绪和情感。研究表明，利用 PDA的3 个维度可有效地解释人类的情感。Mehrabian 等人利用这3个维度可解释其他42种情感量表中的绝大部分变异 ，而且这3个维度并不限于描述情感的主观体验，它与情感的外部表现、生理唤醒有较好的映射关系。前人研究表明：PAD三维情感模型可以充分地表达和量化人类情绪和情感，是情感计算研究的基础 。
2. 情绪自我评价等级系统（SAM）
   佛罗里达大学情绪和注意研究中心教授 Bradley 和 Lang，以 PAD 模型为基础设计了一种测量被试情绪反应的情绪自我评价等级系统 SAM。SAM 通过抽象的卡通人物绘图表示愉悦度、觉醒度、支配度，如下图所示。其中，皱眉噘嘴的头像到微笑的图像代表愉悦度从低到高；从放松昏睡的图像到兴奋睁眼的图像表示觉醒度从弱到强；从小人到大人的图像表示支配度从小到大。
   
   These two types of definitions of emotions are related, with possible transformation from CES to DES. For example, anger relates to negative valence, high arousal, and high dominance. Besides emotion, there are several other widely used concepts in affective computing, such as mood, affect, and sentiment. Emotions can be expected, induced, or perceived. We do not aim distinguishing them in this article. Please refer to [11] for more details on the differences or correlations between these concepts.（两种模型之间可以想换转换）

三、多模态情感诱发方式

在MER（多模态情感识别）领域，多种模式（multi-modal）被用于识别和预测人类情绪。根据情感是来自人体的身体变化还是来自外部数字媒体，MER中的情感模态可以大致分为两类：
显性情感线索&#x