腾讯AI实验室和清华大学共同发表的ICCV2019文章,针对有遮挡的人脸图像提出的人脸识别方法,在训练阶段通过网络学习出不同位置下的掩模字典,与人脸图像对应的特征张量进行点乘操作,把遮挡部分去掉。用剩下的未遮挡特征进行识别。
一、背景
问题:
- 现有的CNN人脸识别模型对有遮挡的人脸数据表现效果差
- 现实生活的人脸图像/视频中,遮挡随处可见,比如太阳镜、围巾、口罩等物品可能会将人脸的重要信息给覆盖掉。这种遮挡人脸图像的“类内差异、类间相似性“问题比正常的人脸图像更严重
启发:
人类视觉系统会隐式地忽略遮挡部分,集中于非遮挡部分的内容。
提出:
本文的核心问题是:给定一张随机局部遮挡的人脸图像,如何定位出受遮挡内容影响的特征?本文的主要工作就是要找到受遮挡的特征元素并对应的响应去除掉,避免影响识别效果。
- 为了学习出图像遮挡区域与受影响的特征元素之间的对应关系,本文提出pairwise differential siamese network(PDSN),该网络包含一个掩模生成器mask generator
- 用PSDN学习出的掩模组成一个mask dictionary,包含了不同遮挡位置对应的mask。利用该字典生成每张测试图像对应的Feature Discarding Mask,用来消除受遮挡部分影响的图像特征
二、方法
总框架图:
Ⅰ 学习掩模生成器Mask Generator
1.问题描述:
掩模生成器是利用遮挡图像和无遮挡图像对应的特征之间的差异作为输入,对遮挡导致特征信息有偏差的部分进行消除。使遮挡图像的特征在消除了偏差部分之后仍能得到正确的识别结果,并且与无遮挡图像的特征相似。
将图像分为 N ∗ N N * N N∗N个blocks,blocks表示为 b j j = 1 N ∗ N {b_j}_{j=1}^{N*N} bjj=1N∗N。给定一张 b j b_j bj block位置受遮挡的人脸图像特征 f ( x j i ) f(x_j^i) f(xji),经过mask generator学习出对应的掩模 M θ M_\theta M