嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴

主要解决几个问题：1）深度网络带来的梯度爆炸或弥散问题；2）特征提取效果不好；3）数据存在冗余或噪声（多余和无用的数据）

本文的解决办法：1）残差链接；2）Inception式结构进行多尺度特征提取；3）CBAM注意力模块提升有效特征的表达，削弱噪音影响。

亮点在于：1）Inception中的多尺度卷积核使用多层深度可分离卷积卷积替换，保证感受野的同时降低参数量；2）将CBAM嵌入到Inception每个分支中去，提升每个尺度的特征权重。

1、表情识别网络模型

1.1 CBAM

需要注意的是，这里使用sigmoid（有些注意力使用的softmax）

1.2 嵌入 CBAM 的多尺度深度可分离卷积残差块

可以看出，不考虑通道，3x3DW的感受野=3x3Conv的感受野。所以上图四个分支就等效于普通卷积的3x3、5x5、7x7、9x9，实现了轻量级的多尺度特征提取结构。

除此之外还有CBAM加强每个尺度提取的特征图，剔除冗余特征，提升特征的有效性

1.3 表情识别网络总体模型

首先一个3x3x64的卷积作为stem layer。

后面跟上8个Basic Block（注意Basic Block-1实际上是两个Basic Block组成，其他类同），每层的输出通道数：64、64、128、128、512、512、256、256、512、512。随后跟上全局均值池化将512通道的特征图转换成512向量，然后通过一个FC层输出7分类数据。总体结构上就是[StemLayer, BasicBlocks, GAP, FC]

整体结构如表和图4所示（特征图经过Basic Block-n的运算，shape不变，但是在Basic Block-n之间可以看到特征图尺寸减半、通道加倍，这里的操作没有说明）。

2、实验

2.1 FER2013

在FER2013数据集上使用TenCrop精度。实验共迭代 300 次，初始学习率设为 0.01，批量
大小设为 32，50 次迭代后，每 8 轮迭代学习率的衰减为之前的 0.8 倍（感觉很多论文都是这个设置）。
最终得到73.89%的准确度，混淆矩阵如下图：

2.2 CK+

在 CK+数据集上训练时，因其数据较少，故采用十折交叉验证，实验以 9:1 的比例将数据集分为训练集和测试集，本文算法在 CK+数据集得到 94.47%的准确度。

2.3 消融实验

ABCD分别代表Inception结构中的4个分支，n-CBAM代表在n分支上添加CBAM模块。

可以看出添加了B分支（等同5x5卷积）提升最大，可能是FER2013数据集的图像尺寸比较小(48x48)，3x3+5x5分支已经能表征需要的多尺度。CBAM也是在分支B上提升最大。

3、结论

利用残差结构和深度可分离卷积堆叠设计了一种类Inception的多分支结构，并且在每个分支上使用CBAM强化特征。实现了保证感受野的轻量级多分支结构，并获得了很好的效果。

从消融实验分支B的提升效果看出，多分支确实能够提高特征提取能力，这可能和表情识别需要局部和全局信息判断有关