自然场景下评估面部连续的效价维和唤醒维

Estimation of continuous valence and arousal levels from faces in naturalistic conditions

论文发表于2021年1月21日

最近几年，研究人员开发了许多基于面部表情的预测情绪的深度神经网络模型。但是，目前的大多数模型仅仅检测几个主要的情绪状态例如生气、开心等，而不是关注更加微妙变化的人类情绪。

离散的情绪类别无法全面的表达人类的日常情绪，心理学家提出情绪效价(情绪的积极程度，或者说对刺激的感兴趣/排斥的程度)和情绪唤醒(情绪表达的激烈程度)。然而，识别人脸情绪的效价维和唤醒维对于人类来说是很容易的，对于计算机来说却是很大的挑战，自然场景下情绪效价和唤醒的评估是一个非常重要的问题。这些评估方式的主观性导致很难获得高质量的训练数据。

最近，三星人人工智能研究院（Samsung AI）联合伦敦帝国理工学院（Imperial College London）在《自然机器智能》期刊发表了一篇名为《自然状态下人脸连续性效价和唤醒水平估计》的论文，创新的提出一种深度神经网络框架来高准确率地分析自然场景下面部情感。本文提出的网络，同时集成了面部矫正并联合情绪分类和连续情绪的评估，使得该模型非常适合于实时应用。

模型效果：

连续状态下，模型能够精准识别面部情绪。

蓝色条表示愤怒程度。红色条表示激烈程度。

黄色条表示悲伤程度。

 

本文使用数据集：

AFEW-VA (https://ibug.doc.ic.ac.uk/resources/afew-va-database/)

AffectNet (http://mohammadmahoor.com/affectnet/)

SEWA (https://db.sewaproject.eu/) 

本论文开源代码：

 https://github.com/face-analysis/emonet

开源协议： Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Licence (CC BY-NC-ND)