论文笔记：AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition

AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition
本论文主要解决in-the-wild的表情识别不准确问题，在一般的网络结构上加入该种表情相关的AU区域特征，在最后分类层前concat整体特征与AU特征，再进行分类。

主要创新点：
1.利用表情与AU的先验关系，为只有标注表情而没有标注AU的图片生成AU的虚标签，从而能够提取该表情相应的AU特征。
2.利用不同AU之间的先验关系（如共存、互斥），优化表情对不同AU的注意力值。

模型的简略流程：
1.使用ResNet-101提取图片特征，得到表情整体特征fe；使用MTCNN提取脸部的landmarks。
2.根据表情-AU的先验关系得到该表情的AU虚标签。
3.根据AU虚标签和landmarks，使用crop net提取各个AU区域的特征fa。
4.根据fa特征和AU之间的先验关系，计算该表情对不同AU的注意力值α(选择更有用的AU)。
5.fa特征*α后，cocat整体特征fe，送入最后的分类层得到表情分类。

Knowledge-Guided AU Representation Learning

由原有的one-hot表情标签和先验的表情-AU关系图矩阵，由以下公式可求得AU的虚标签^Pa。表情-AU关系强弱分3个等级，分别是1、0.5、0.1。
原文的计算公式好像写错了，这里应该是^WEA，WEA应该是全连接层的参数，批评一下~

源码中的表情-AU关系图矩阵：

使用MTCNN获取图片AU的landmarks位置点，根据虚标签^Pa在相应位置使用crop net提取AU特征fa，A是AU的数量，fa通过512*A的全连接层得到AU预测表情Pa。

MSE计算Loss：

Knowledge-Constrained AU Selection

使用low-rank bilinear pooling为每个AU计算一个^wi的权重系数，再softmax一下，得到wi作为Attention的值。

AU特征乘以相应的Attention值，得到新的fa：

将fa与整体特征fe再concat一下，才送进分类层。

Knowledge-Regularized Training Loss

有些AU之间是共存的(Positive)，有些是互斥的(Negative)。
源码中Positive、Negative的AU对：

如果AUi存在，则表示为i1，否则表示为i0，由以下公式可计算lp、ln：

最后分类的loss计算：