CVPR 2018 微表情识别论文Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Reco...

paper：https://arxiv.org/abs/1805.08417

GitHub：https://github.com/IcedDoggie/Micro-Expression-with-Deep-Learning

摘要

面部微观表情（ME）的识别对于研究人员在运动和有限数据库中的细微处理造成巨大挑战。 最近，人工技术已经在微型表达识别中取得了优异的性能，但是以区域特异性和繁琐的参数调谐为代价。 在本文中，我们提出了一个丰富的长期递归卷积网络（ELRCN），首先通过CNN模块将每个微表情帧编码成特征向量，然后通过将特征向量通过一个长-短期记忆（LSTM）模块。 该框架包含两种不同的网络变体：

（1）       空间富集的输入数据的通道叠加

（2）       用于时间富集的特征的功能性叠加。

我们证明所提出的方法能够实现合理的良好性能，而不需要数据增强。 此外，我们还介绍了对预测微表情类别时CNN“看到”的框架和可视化进行的消融研究。

关键词：微表情识别; 目标类;  LRCN; 网络改进，跨数据库评估

 

1. 简介

面部微表情（ME）是引发隐藏某种真实情绪的短暂和不自主的快速面部表情[1]。 标准的微表情持续时间在1/5到1/25之间，通常只发生在脸部的特定部位[2]。 微表情的微妙和简洁是对肉眼的巨大挑战; 因此，近年来已经提出了很多工作来利用计算机视觉和机器学习算法来实现自动微表情式识别。

面部动作编码系统（FACS）[3]的建立编码面部肌肉对情感状态的改变。 该系统还为每个行动单位（AU）确切的开始和结束时间奠定了基础。 不同的数据库[4]，[5]，[6]可能包含不同的微表情类，它们由经过培训的编码人员根据AU的存在标记。 然而，最近Davison等人的论述[7]认为，使用AU而不是情绪标签可以更精确地定义微表情，因为训练过程可以根据特定的面部肌肉运动模式进行学习。他们进一步证明，这能够实现更高的分类准确性

在这个研究领域，一些作品[8] [9] [10]已经实现了令人印象深刻的微表情识别性能。 这些作品提出了精心制作的描述符和或方法，其中涉及繁琐的参数调整以获得最大的结果。 鉴于这些笨拙的步骤，采用深度学习技术或深度神经网络已经开始起飞，从几次新的尝试中可以看出[11]，[12]。 然而，由于样本稀缺和大多数微表情数据中的类别不平衡，深度神经网络的使用给ME识别带来了挑战。

2. 相关工作

　　A. Handcrafted Features人工特征

在过去的五年中，已经提出了许多工作来解决ME识别问题。 为了促进自发面部微表情分析（即SMIC [4]，CASME II [5]，SAMM [6]，[7]）的计算研究而建立的数据库主要选择具有三个正交平面的局部二值模式（LBP-TOP） [13]作为他们的主要基线特征提取器。 LBP-TOP是经典的局部二进制模式（LBP）描述符[14]的时空扩展，它通过将二进制码矢量编码为直方图来表征局部纹理信息。 LBP-TOP从三个平面（XY，XT，YT）中的每一个中提取所述直方图并将它们连接成单个特征直方图。 LBP虽然以其简单的计算而闻名，但由于其对照度变化和图像变换的鲁棒性而被广泛使用。

Wang等人[15]通过在3D平面中仅利用六个交点来构造特征描述符来减少LBPTOP中的冗余。 后来，黄等人[10]提出了一种带有积分投影的时空LBP（STLBP-IP），该算法将LBP算子应用于基于差分图像的水平和垂直投影。 他们的方法是保持形状的，并且对白噪声和图像转换具有很强的鲁棒性。

有几项作品使用了LBP-TOP和相应的预处理技术。 最常见的是时间插值模型[4]，该模型用于从构造的数据流形中均匀地采样固定数量的图像帧。 最近，[16]提出了Sparsity Promoting Dynamic Mode Decomposition（DMDSP），它在合成动态压缩序列时仅选择重要的时间动态。 许多其他作品[17]，[18]选择放大视频，试图突出特征提取之前的微妙变化。

运动信息可以很容易地描绘出微表情所带来的微妙变化。 Shreve等人 [19]提出了提取称为光学应变的光学流量