论文快速回顾笔记 —— Supressing Uncertainties for Large-Scale FER

前言

这是之前因为做项目而读过的一篇CVPR2020论文，有些细节还是挺有意思的，最近回顾一下，顺便做下笔记，以供后续查阅。
Paper: Suppressing Uncertainties for Large-Scale Facial Expression Recognition
Arxiv: https://arxiv.org/pdf/2002.10392.pdf
Github: https://github.com/kaiwang960112/Self-Cure-Network

0.0简介

这是一篇关于人脸表情识别任务的论文。虽然在深度学习的加持下，计算机视觉迅猛发展，但现有的大部分网络，在大规模人脸表情数据集上表现并不是很好。为了解决这个问题，本文提出一个Self-Cure Network(SCN)，抑制不确定性，并避免在不确定的人脸图像上过拟合。
主要通过两种方法：1)在每个batch上的自注意力机制(self-attention mechanism),对每个训练样本加权,进行等级正则化(ranking regularization). 2)通过仔细的重新标注机制(a careful relabeling mechanism)修正最低等级组(in the lowest-ranked group)的样本.
在RAF-DB上达到88.14%准确率，在AffectNet上达到60.23%准确率，在FERPlus上达到89.35%准确率.

1.关键的挑战来源和大致思路

1. 人脸表情本身的不确定性
2. 现有数据集包含的人脸表情图片质量不高，模糊不清等
3. 标注者在标定数据集时本身带有的主观意识

1.1 在包含很大不确定性的数据集上训练带来的危害

1. 在不确定很强的数据集甚至是带有错误标签的数据集上很容易过拟合，往往学到的面部表情特征是无效的，缺乏泛化性
2. 数据集本身包含的大量的错误样本使得模型在前期的训练很难收敛

1.2 本文提出的解决方法

1. 使用自注意力机制，在每一个训练的 mini-batch 上进行一些正则化操作，降低不确定性样本给训练过程带来的危害。
2. 使用重标记机制，对可能存在严重错误的样本进行评估，达到一定的阈值时将修改样本的标签，以应对数据集中可能存在的错误标签

1.3 实验

在公共数据集上已经验证本文提出的方法可行，在RAF-DB上达到了88.14%，在AffectNet上达到了60.23%，在FERPlus达到了89.35%。

2. 具体方法步骤和部分实现细节

2.1 具体方法

• Step1: Backbone CNN提取人脸特征信息
• Step2: Self-attention importance weighting module学习每张图像的重要性以此计算加权损失.
  不确定的面部表情图像权重较小，反之较大。（笔者按：理想状态下，应该是对于一个数据集内，干净的数据子集进行着重学习，类似于多刷真题卷的感觉）
• Step3: Ranking regularization module 以降序排列这些权重，分成两组(高重要性和低重要性)，通过两组平均权重的margin来正则化，使用Rank Regularization loss(RR-Loss)。
• Step4: Careful relabeling module对bottom group （低权重组）的样本进行重新标注， 方法是若经softmax等得出的最大预测概率比给定label的概率高，且超过预设阈值（也就是一个超参），则修改其label.
• Step5: 论文作者认为在包含大量不正确和错误标签的数据集上能更好展示出算法的优越性，因此自己爬取了名为WebEmotion的数据集

2.2 整个SCN的pipeline

2.3 Self-Attention Importance Weighting

实际上就是采用一个含有FC层和sigmoid激活函数的网络来对每个图像预测权重.

权重直接乘以loss的话极端情况会导致有些图像的loss为0，因此作者采用Logit-Weighted Cross-Entropy Loss(WCE-loss), N为Batch_size:

2.4 Rank Regularization

对以上预测权重降序排序，再按照一定比率分成两组,定义一个rank regularization loss(RR-Loss)，使得在优化过程中将两组均值拉大。

其中δ为超参.
对WCE-loss和RR-loss加权，得到最终结果.

2.5 Relabeling

以上已经划分为两组，对低权重组中的图像(或部分最低的图像)进行relabel, 如果预测的概率比原label的概率高出阈值，便修改原label.如下式:

重标记后的一些结果图：

3. 实验与结果

笔者自己跑过论文的开源工程，大概的准确率在87.5%上下，也基本达到了复现的程度。