上海交大提出多模态框架「EmotionMeter」，更精准地识别人类情绪

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 79 篇文章

本期推荐的论文笔记来自 PaperWeekly 社区用户 @Cratial。为了结合用户的内部大脑活动和外部潜意识行为，本文提出了使用 6 个 EEG 电极和眼动追踪眼镜来识别人类情绪的多模态框架 EmotionMeter。

如果你对本文工作感兴趣，点击底部阅读原文即可查看原论文。

关于作者：吴仕超，东北大学硕士生，研究方向为脑机接口、驾驶疲劳检测和机器学习。

■ 论文 | EmotionMeter: A Multimodal Framework for Recognizing Human Emotions

■ 链接 | https://www.paperweekly.site/papers/2000

■ 作者 | Wei-Long Zheng / Wei Liu / Yifei Lu / Bao-Liang Lu / Andrzej Cichocki

引出主题

不同模态方法描述了情绪的不同方面，并且包含互补信息。以融合技术将这些信息结合起来可以构建鲁棒性更强的情绪识别模型。

目前，大多数的研究都集中在听觉和视觉模态相结合的多模式情绪识别上，然而，来自中枢神经系统，例如 EEG 信号和外部行为，例如眼球运动的多模态结合已被证明是对情绪识别更加有效的方法。

为了结合用户的内部大脑活动和外部潜意识行为，本文提出了使用 6 个 EEG 电极和眼动追踪眼镜来识别人类情绪的多模态框架 EmotionMeter。本文提出的情绪识别系统的框架如图 1 所示。

▲ 图1

本文工作：本文设计了一种包含 6 个对称颞叶电极的电极放置方式，可以很容易地嵌入到耳机或眼镜框架中。为验证本文算法的有效性，设计了四种情绪（高兴、悲伤、恐惧和中性）的识别实验。

本文揭示了 EEG 信号和眼动信息对于情绪识别的互补特性，并通过使用多模态深度神经网络改善了系统的识别性能。本文运用来自不同实验阶段的训练和测试数据集研究了本文方法的稳定性，并证明了在多次实验内和实验之间的稳定性。

实验设计

在我们的材料库中，共有 168 个包含四种情绪的电影片段，44 位被试（22 位女性，均为大学生）被要求在观看电影片段时评估他们的情绪状态（在 valence 和 arousal 两个维度下进行评分（-5~5））。