何晖光：多模态情绪识别及跨被试迁移学习

编者按：情感计算的概念由MIT媒体实验室Picard教授于1997年提出，它旨在通过赋予计算机识别、理解、表达和适应人类情感的能力来建立和谐人机环境。情感计算的基本问题包括通过表情、动作、脑电等生理信号进行情绪识别。相比于传统情绪识别方法，如何利用更可靠的脑电信号实现鲁棒的识别并优化情绪状态已成为一大难点。今天，来自中科院自动化所的何晖光研究员为我们带来题为“多模态情绪识别及跨被试迁移学习”的讲座。

报告包括以下几个方面的内容。

情感是大脑的高级活动，它是一种复杂的心理和生理状态，高级活动包括记忆、学习、决策和情绪等。情绪是情感的一个外部表现，是我们对事件内在或外在的反应。一个成功的人通常要同时具备高智商和高情商。情商反映一个人控制调节自己情感的能力，以及处理自己与他人之间情感关系的能力。情感很重要，它会影响我们做决策。情感计算要赋予计算机像人一样的观察理解和生成情感特征的能力，最终使得计算机像人一样进行自然亲近和生动的交互。情感计算中基本问题包括情绪识别。

以’emotion regulation’和’emotion recognition’作为关键词搜索文章，我们发现相关研究研究逐步增加，最高有每年1700篇左右。

Charles Darwin为情感领域做了两大贡献，一个是提出动物情感和人类情感是一致的，另一个是最基础的情感，包括愤怒、恐惧、悲伤等，在不同物种和文化中是共享的。第二点不仅在情感上适用，在语言上也是适用的，比如在不同的人种和文化中，“爸爸”、“妈妈”发音都是比较类似的。William在著作中认为情绪是人们对于自己身体所发生变化的一种感觉，先是有身体的变化才有情绪的感知，任何情绪的产生都有一定伴随身体的变化，包括面部表情、肌肉紧张、内脏活动等，可以通过外部感知推测情绪发生了什么样的变化。

2016年在《科学美国人》上有关于人类未来的20个大问题，其中一个是“我们能用可穿戴技术来探测自己的情绪吗”，说明我们还是希望能够了解自己的情绪。现在经常有人戴手环，使用各种APP，来记录每天走了多少步，吃了多少卡路里的食物，希望借助各种外部探测手段来了解自己。从这个意义上来说人们需要了解自己的情绪，进而来调控情绪。

下面介绍一下情感科学在学术界和工业界的动态。微软全球执行副总裁沈向阳认为，人工智能的研究要强调机器人与人之间的感性化交互，强调情感计算，实现情感智能。李飞飞教授认为要加强对情感情绪的了解。MIT的Rosalind教授认为情感在一系列智能活动中都起到核心作用，如感知、决策、逻辑推理、社交、行动选择、言语措辞等。AI研究如果忽视情感，就难以取得进展。

谭铁牛院士也曾说过“机器人有智商没情商”。在人机交互领域，Pepper、MIT以及日本一些公司做出的机器人能够像人一样自然亲切地进行交互。

在医学领域，情绪识别还为精神疾病诊断治疗提供依据。比如自闭症的诊断，利用复杂的量表检测比较困难。如果有一些比较好的情绪识别的工具，比如戴脑电，在病人活动的时候进行实时监测，可以对诊断提供帮助。同样还可以应用到自闭症的诊断和治疗中。

2014年的“马航370”事故，迄今原因仍然不明。其中有一个疑点是，机长在飞机失联前不到一个月时，在电脑游戏中操纵虚拟航班飞入南印度洋的深处，大家因此怀疑他是不是一直有自杀倾向。国际民航组织(ICAO)要求成员国的飞行员达到一定的心理健康标准。

2015年3月份德国之翼航空公司在法国阿尔卑斯山脉坠毁。后来得知副驾驶员在飞行过程中多次怂恿机长上厕所，机长离开后他反锁驾驶舱，启动下降按纽，导致坠毁。调查中得知副驾驶确实有心理疾病，上一个例子是推测，而后一个已经被证实。所以飞机员的状态对飞行安全很重要。情绪识别准确的话，可以避免此类灾难的发生。

情绪识别中一个新的领域叫做Affective Brain-Computer Interaction，也就是情感的脑机结合。脑机接口在大脑和外界设备之间建立直接的通道。但是，这个脑机接口不仅仅依赖于直接对大脑信号的测量，还包括其他心理、生理的信号，包括机电、眼电、心电等等。

上图是欧洲关于脑机接口发展的路线图，是Horizon2020的计划，涉及脑机接口的研究、提高、增强、恢复和替代。

白皮书里给出了一些建议。首先是关于大脑状态的监测。然后，一个能够监测人脑精神状态的客观度量对于决策很有帮助。类似的࿰