SER数据集：M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database

数据集链接：https://github.com/AIM3-RUC/RUCM3ED
论文下载：https://aclanthology.org/2022.acl-long.391.pdf

在对话中，说话人的情绪状态会受到许多不同因素的影响，如对话场景、对话话题、对话者刺激等。 然而，目前支持对话中这种多模态情感分析的数据资源在规模和多样性上都是有限的。 本文提出了一个多模态、多场景、多标签的情感对话数据集M3ED,该数据集包含了56部电视剧的990段并元情感对话，共9082个回合和24449个话语。 M3ED在言语层面上有7种情感类别（高兴、惊讶、悲伤、厌恶、愤怒、恐惧和中性），包括声学、视觉和文本形式。 据我们所知，M3ED是第一个中文多模态情感对话数据集。 这对于跨文化情感的分析和识别具有重要意义。 我们在M3ED数据集上应用了几种最先进的方法来验证数据集的有效性和质量。 我们还提出了一个通用的多模态对话感知交互框架MDI来建模用于情感识别的对话上下文，该框架达到了与M3ED上的最先进方法相当的性能。

本文提出了一个多模态、多场景、多标签的情感对话数据集M3ED，用于对话中的多模态情感识别。 与目前最大的情感识别多模态对话数据集MELD相比，M3ED更大（24,449次与13,708次对话），更多样化（56部不同的电视剧与只有一部电视剧《老友记》)，质量更高（三种模式的均衡表现），并包含MELD所没有的混合情感注释。 M3ED是第一个中文多模态情感对话数据集，是情感计算领域的一个重要补充，对跨文化情感分析和识别的研究具有重要的推动作用。 此外，我们提出了一个通用的多模态对话感知交互框架，该框架考虑了多模态融合、时间上下文建模和说话人交互建模，并获得了最先进的性能。 我们还提出了基于M3ED数据集的几个有趣的未来探索方向。