论文精读：Multimodal Adaptive Emotion Transformer with Flexible Modality Inputs on A Novel Dataset

Multimodal Adaptive Emotion Transformer with Flexible Modality Inputs on A Novel Dataset with Continuous Labels | Proceedings of the 31st ACM International Conference on Multimediahttps://doi.org/10.1145/3581783.3613797

论文代码： https://github.com/935963004/MAET

1 前言

该论文面向情绪脑机接口，涵盖了情绪BCI范式设计、多视图融合、Adaptive Transformer、域对抗、连续标签等要素，是一个先进的体系性的工作，同时作者附了算法代码，下面是我对这篇文章的几点理解和思考。

2 研究背景

在引言部分作者先是铺垫了情绪脑机接口的应用必要性、罗列一些当前可选的信号类型梳理了任务当前面临的挑战和难点，从而引出该论文的两个工作亮点：

• （动机）现有数据集时间跨度小，涵盖的情绪强度层次少：论文贡献了一个新的连续标注的多模态情绪数据集
• （动机）BCI算法分类难题—时间、个体尺度上的多源变异性：论文提出Multimodal Adaptive Emotion Transformer (MAET)算法

论文第二部分Related work也是围绕上述两点展开的，介绍了基于脑电的情绪识别数据集和分类算法。

3 实验设计

在BCI实验中，范式设计往往直接关系到研究是否有效，其目标是生成的信号特征可以有效捕捉认知过程的关键因素，在该项研究中，作者关注的是情绪诱发，其在实验设置过程中也十分谨慎。

刺激材料：选用视频的形式，20名志愿者对所有视频进行情绪诱发强度评分，最终得到80个高分视频，涵盖了7种情绪类别。