基于注意力机制和损坏特征掩蔽的遮挡人脸识别

Occluded Face Recognition Based on Attention Mechanism and Damaged Feature Masking

摘要

        本文提出了一种基于注意力机制（BAM）和掩模生成器的新型遮挡人脸识别方法。在主干网络中嵌入BAM以提取更多可区分的特征，同时设计掩模生成器来清理损坏的特征，从而可以在遮挡的约束条件下实现人脸识别。具体来说，在残差网络中嵌入注意力机制，使网络更加关注人脸图像的显着区域，例如人眼周围的无障碍区域，更准确地提取有效特征。此外，掩模生成器被设计为动态预测正确的特征掩模，定位被遮挡的人脸图像中受损特征的位置。学习到的掩模可以用来清理从网络中提取的深层特征，清理后的特征将用于最终的人脸识别。所提出的网络是端到端模式，不需要在外部添加额外的检测器。

💡 本文的主要贡献如下：

• 提出了一种基于注意力机制和损坏特征掩蔽的新型遮挡人脸识别方法，可以实现更高的识别精度。
• 为了提取更有效的面部特征，通过将注意力机制（BAM）嵌入残差网络来构建特征提取网络。
• 设计掩模生成器，利用特征金字塔网络底层的遮挡信息来定位和删除损坏的特征。 </aside>

网络结构

        在本节中，将详细介绍所提出的遮挡人脸识别方法。首先，介绍我们网络的总体架构。然后，介绍了基于BAM的特征提取网络。最后，描述了特征掩模生成器。所提出网络的总体框架如图2所示。

A.整体架构

        整体网络输入是一些随机人脸图像，包括遮挡和非遮挡的人脸图像。采用主要的 LResNet 作为主干网络，并将 BAM 嵌入到 LResNet50E-IR 的每个卷积块中作为特征提取网络。输入图像将通过嵌入注意力机制的特征提取网络获得修改后的深层和浅层特征。根据这些特征，我们可以构建特征金字塔[23]。我们使用金字塔顶部的特征作为基本特征，将底部的特征输入到掩模生成器中以获得特征掩模。然后，我们将遮挡应用到基本特征上，这样我们就可以获得清理后的特征。最后，将清理后的特征应用于识别过程，实现遮挡人脸识别。

B.基于BAM的特征提取网络

        使用特征提取网络生成的特征金字塔提取器，这有利于掩模生成器的学习和最终识别的识别特征的提取。

        如图3所示，它具有自上而下的水平连接结构特征。 FTop用作识别过程的深度区分特征，FBottom被输入到掩模生成器以生成特征掩模以清理FTop中的损坏特征。在特征提取网络中，嵌入BAM以更有效地提取独特特征。

        BAM包括空间注意力模块和通道注意力模块。如图4所示，输入特征图X为RC×H×W，输出特征图Y为RC×H×W。在通道注意力模块中，输入X被全局池化以获得C1，其形状为RC×H×W。 C1经过一个全连接层得到C2。这里，C2的通道数为C1的1/r，r为衰减率，有利于节省计算成本。 C2经过一个全连接层，得到与C1通道数相同的C3。然后，经过张量扩展操作 G，C3 被拉伸为与输入特征图 X 相同的形状。该模块的输出表示为 MC(X) ϵ RC×H×W。

        在空间注意力模块中，输入特征图X通过1×1核进行卷积得到S1，再通过3×3核进行卷积得到S2，然后通过两个3×3核和一个3×3核进行卷积得到S2。 1×1内核得到S3。之后，S3也会通过操作G得到与输入特征图相同大小的形状，记为MS(X)。最后，X、MC(X)、MS(X)被送入加法运算F，输出校正后的特征图Y，其公式如下：

C.掩模生成器

        在该网络框架中，引入掩模生成器来生成特征掩模，该特征掩模对应于损坏特征的位置，从而达到清理损坏特征的目的。掩模生成器的结构如图5所示。它以特征金字塔的底层作为输入，并使用该层的遮挡信息通过简单的“Conv-PReLU-BN-Conv-Sigmoid”生成特征掩模结构，并将掩模应用到顶层，以达到屏蔽损坏特征的效果。通过Sigmoid函数将特征掩码约束为(0, 1)，通过将两个卷积层的滑动步长设置为2，使特征掩码与顶层具有相同的形状。