【论文阅读】AU检测《Learning Representations for Facial Actions from Unlabeled Videos》

摘要

面部动作通常被编码为基于解剖学的动作单元(AUs)，标记这些动作单元需要专业知识。为了缓解标签需求，论文建议利用大量的未标签视频，通过所提出的Twin-cycle Autoencoder(TAE) 来学习面部动作的区别表示。TAE的提出基于面部动作是嵌入在视频中两个连续的面部图像(在下文中，称为“源”和“目标)”之间的像素位移中的。因此，学习面部动作的表征可以通过学习位移的表征来实现。然而，面部动作引起的位移与头部动作引起的位移是纠缠在一起的。
TAE便是训练来解开这两种运动的，即当面部动作或头部姿态发生变化时，以重建目标图像为目的，通过评估合成图像的质量来实现。在对AU检测的实验中表明，TAE可以达到与现有的其他AU检测方法(包括一些有监督的方法)相当的检测精度，从而验证了TAE学习的表征的判别能力。通过可视化所生成的图像，定性和定量地分析人脸图像恢复结果，验证了TAE对动作诱发运动和姿态诱发运动的解耦能力。

介绍

为减轻对充分和准确注释的需求，论文利用几乎无限数量的无标签视频，用自监督方式学习面部动作的区别表示。考虑到面部动作表现为面部内部的局部动作，易于检测而无需人工标注，由此，论文提出用动作作为学习面部运动表示的监督信号。然而，检测到的动作可能是由面部运动和头部运动共同引起的。在某些情况下，特别是在不受控制的情况下，头部运动是运动的主要贡献者。如果不将头部运动的运动从监控信号中去除，学习到的特征对于AU建模来说将不具有足够的判别性。
为了从中学习面部动作，论文提出了双周期自动编码器(TAE)，该编码器自监督学习两种嵌入，分别对由于AUs和头部运动引起的动作进行编码。然后，进一步将运动描