遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs
CVPR2017

本文针对遮挡人脸检测问题,首先建立了一个新的数据库:MAFA, with 30,811 Internet images and 35,806 masked faces,其次提出了一个 CNN 网络 LLE-CNNs 来用于遮挡人脸检测。

首先来看看新建的数据库
3 MAFA: A Dataset of Masked Faces
3.1. Dataset Construction
我们首先用关键词为 face, mask, occlusion and cover 在网上搜索相关图像,得到大约 300K 张图像,然后过滤掉没有遮挡的图像,剩下 30,811 张图像,每张图像至少有一个遮挡人脸。
我们标记的信息如下:1) Location of faces 2) Locations of eyes 3) Locations of masks 4) Face orientation 5) Occlusion degree 6) Mask type
对于遮挡的人脸,两个眼睛还是相对稳定的特征点,眼睛基本不会被遮挡的,需要眼睛看东西啊
这里写图片描述

这里写图片描述

3.2. Dataset Statistics

这里写图片描述

4 LLE-CNNs for Masked Face Detection
遮挡人脸检测存在两个大的挑战:incomplete facial cues and inaccurate features from mask regions。例如对于一张左侧人脸图像,其嘴巴、下巴、鼻子 都被一个mask 遮挡,导致大部分人脸特征点都是不可见的,从 mask 区域 提取的人脸特征向量含有大量噪声。在这个情况下 需要我们从人脸以外的区域提取额外的信息用于恢复人脸特征,降低噪声的影响。

LLE-CNNs
这里写图片描述

Proposal Module 人脸候选区域提取模块: 这里级联了两个CNN网络用于 人脸候选区域的生成及特征提取。候选区域的生成使用了文献【35】中的 P-Net,三个卷积层和一个 softmax layer,考虑到遮挡人脸检测难度较大,这里我们的阈值设置较低,生成了大量人脸候选区域。然后用 文献【24】的 VGG 人脸识别网络队每个候选区域 提取一个 4096d descriptor 在将其归一化。这个descriptor 即含有有用信息也含有噪声信息。 the extracted high-dimensional descriptor encodes bothv aluable facial cues as well as the noisy features from mask regions

Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复,抑制特征中的噪声信息。
The embedding module recovers the missing facial cues in x and suppresses the noisy features incorporated by mask regions.
Toward this end, a feasible solution is to find the most similar faces or non-faces from an external database and use them to refine x .
这里主要通过查字典的方式 试图将被遮挡的特征区域恢复出来

Verification Module 利用被修复的人脸特征进行人脸区域验证 ,对人脸位置和尺度的微调,
The verification module classifies face candidates from the refined facial cues and refines their positions as well as scales

5 Experiments
这里写图片描述

这里写图片描述

11

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值