Coarse-to-Fine Cascaded Networks with Smooth Predicting for Video Facial Expression Recognition

一、论文地址

https://arxiv.org/abs/2203.13052

二、数据集

Aff-Wild 

三、任务和动机

文章的任务是根据视频中面部的微表情、肌肉等特点来判断情绪。

参考以往的工作，情绪主要划分成7个类别，这里算上other就是8类。其中有4种情绪（anger、disgust、fear、sadness）区分的难度比较大，一方面是因为这些数据相对于积极情绪的数据更难获取，另一方面是因为不同的人在标注标签时可能会发生混淆。

所以作者提出把这4种情绪打包成negative。图片首先经过Coarse Net被区分成5类，如果判别为非negative类的，就直接返回标签。如果判定为negative类了，再通过Negative Net更加细致地进行区分。所以他的思路是，先把简单的区分出来，比较容易混淆的，再经过一层网络进行区分。这个同时也解决了数据不均衡的问题（negative的各类数据都相对比较少）。

作者的第二个创新点是SP Module。首先，视频需要处理成序列帧。但是其他的一些工作是对各个帧独立进行判断（分类），这样就忽视了它们在timeline上的联系。尤其是对于一些帧数比较高的，如果每一帧都去进行独立预测，可能相邻几帧会得到不同的结果。所以他采取一个策略。取一个window。以第i帧的feature map为例，[i