提出了一个带有注意力机制的CNN,可以识别出脸部的遮挡区域,并之后关注于未被遮挡的区域。提出的ACNN是一个端对端的学习框架,提出的该模块可以将网络的注意力从遮挡的部分移至其他相关的未被遮挡的部分。
ACNN网络结构如下:
人脸图像作为网络输入,pACNN主要包括区域分割和遮挡感知这两个部分。定位并且编码人脸上与表情相关的部分对识别面部表情是有利的。另外,将人俩划分为多个区域块有利于找到遮挡的位置。
为了找到与表情相关的人脸区域,首先基于文献[33]的方法检测人脸68个关键点,基于这68个点,选择或重新计算24个人脸上具有信息量区域的点,包括眼睛、鼻子、嘴巴、脸颊。然后就依据人脸关键点的位置来提取区域块。下图展示了人脸区域块的选择:
由检测到的24个关键点的中心来作为被选择的区域块。值得注意的是,文献[33]的人脸对齐方法对遮挡具有较好的鲁棒性,这对于精确的区域分割非常重要。
在上图ACNN网络结构中,区域块分割操作是在从卷积层出来的特征图上被执行,而非原始的图片,这是因为通过卷积操作可以降低模型尺寸,并且为之后的神经元增加可接受的范围。基
论文阅读:《Occlusion Aware Facial Expression Recognition Using CNN With Attention Mechanism》
最新推荐文章于 2022-02-02 18:40:32 发布
本文介绍了一种名为ACNN的深度学习框架,该框架利用注意力机制识别遮挡脸部的表情。ACNN通过区域分割和遮挡感知模块,能够从遮挡区域转移注意力至未遮挡部分。它依赖于人脸关键点检测,即使在部分遮挡情况下也能保持鲁棒性,通过卷积层降低模型尺寸并增强神经元接受域。ACNN中的Gate Unit和Global Gate Unit分别处理局部和全局信息,自动调整遮挡和未遮挡区域的权重,从而提高识别准确性。
摘要由CSDN通过智能技术生成