2020tip表情识别论文Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition解读

Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition

南洋理工大学王凯团队发在2020年tip上（这篇论文的原文和代码都能找到哦）

贡献

1、作者根据FERPLUS、RAF-DB和AFFECTNET三个数据集设计了六个数据集：Occlusion-FERPlus、Pose-FERPlus、Occlusion-AffectNet、and Pose-AffectNet、Occlusion-RAFDB和 Pose-RAF-DB。
2、作者提出了一个区域注意网络（RAN），用这个网络来捕获对遮挡和姿态变换图像重要的区域，来进行鲁棒的表情识别。
3、作者提出了一个区域偏差损失（RB-loss），利用这个损失函数来让最重要的区域得到更多的注意力权重。

数据集的划分

这个是从FERPLUS和AFFECTNET的测试集中收集到的带有不同遮挡和姿态变换类型的真实图像。

区域注意网络（RAN）

这是这篇论文的最主要的贡献点，作者提出的区域注意网络。RAN主要由三个模块构成，左边crop和shared部分的区域裁剪和特征提取模块，中间的虚线框叫自注意力模块，右边的虚线框叫关系注意模块，并且作者的第三个贡献点区域偏差损失函数也用在自注意模块中，后面提及。

图像裁剪

这个是对输入图像的裁剪操作，如果裁剪的区域太大的话会导致特征多样性降低，可能会出现很多跟原始图像重复的情况，区域太小的话会导致区域特征的辨别能力不足。所以这里提出了三种裁剪方法，也就是左边的固定位置裁剪，右边的随机裁剪，上方的是关键点裁剪。
固定位置裁剪：固定位置裁剪也就是通过固定比例裁剪固定位置，总共裁剪了五个区域，这里固定比例是0.75 。
随机裁剪：随机裁剪就是随机裁剪N个区域，这些区域的随机大小位置是原始图像的0.7到0.95.
关键点裁剪：关键点裁剪根据给定的面部关键点，裁剪周围的区域，作者这里是用MTCNN来检测五个面部关键点，也就是左眼、右眼、鼻子、左嘴角和右嘴角。

区域裁剪和特征提取模块流程

这是RAN的第一个模块，区域裁剪和特征提取模块的流程，输入一张图像，先将其复制，得到I0，再将I0进行裁剪，得到I1、I2到Ik，再把每个区域输入到CNN中，这个r（I，theta）就是CNN的特征表示，得到了一个关于每个区域的特征集。

自注意力模块的操作流程

这个是他的自注意力模块的操作流程，这个模块用了个全连接层和sigmoid函数来估计每个区域的新的注意力权重，这个u代表第i个区域的新注意力权重，其中，qo表示全连接层的参数，f表示sigmoid函数，Fi就是在上一步求出来的第i个区域的特征。然后将所有的区域特征及注意力权重归纳成全局表示，也就是这个fm，fm表示为每个区域的特征乘上注意力权重的和除以所有区域的注意力权重之和。这个就是初步得到的全局表示特征，这在作者看来是个粗糙的全局特征表示，这个网络的第三个模块就是对这一个模块进行升华。

关系注意力模块的操作流程

这个模块就是针对自我注意模块的权重很粗糙，来进一步完善注意力权重，通过使用另一个全连接层和级联矩阵来估计区域特征的新注意力权重，这个式子就是表示第i个区域的新的注意力权重，这个q1就是新增的全连接层的参数，把之前得到的每个区域的特征和上一个模块得到的全局表示进行级联，然后取转置，再乘上全连接层的参数，作为sigmoid函数的输入。然后再将所有的区域信息和自我注意模块得到的全局特征做一个汇总，得到一个新的全局特征，将自我注意模块得到的注意力权重乘上关系注意力模块得到的权重相乘再乘上每个区域的局部特征和前面得到的粗糙的全局特征的级联特征，再做个累加，再除以注意力权重乘积的累加，就得到了他的最终输出，也就是这个Pran。

区域偏差损失（RB-Loss）

这是这个作者的第三个贡献点，他提出了一种新的损失函数，叫做区域偏差损失，这个损失函数主要是针对自我注意力模块的注意力权重进行约束，这个 用来做边距的超参数，μ0是复制图像的注意力权重，μmax表示所有面部裁剪的最大权重，这个损失函数的作用就是增强了区域关注的效果，放在自我关注模块来提升效果，如果放在关系注意模块的话，因为这部分特征包含了整体信息，所以不会带来任何好处。

实验部分

实验部分太多了，消融实验太多，自己去看。