caffe 人脸关键点检测_密集人脸关键点检测

把人脸关键点检测的门槛给我打下来, 本文的代码可以在mrlandmark下载，提供一键式运行的能力

MTCNN联合人脸检测和对齐任务提供了5点关键点的能力，但是对于姿态姿态恢复等应用是远远不够的，经常会出现某个点错误导致大幅抖动，显然需要更密集的关键点. 常见的数据集都是68点和106点。

人脸关键点检测主要面临下面几个挑战：

局部变化：现实场景中人脸的表情，广告，以及遮挡情况都有较大的变化，如Figure1所示

全局变化：姿态和成像质量是影响图像中人脸的表征的两个主要因素，人脸全局结构的错误估计将直接导致定位不准

数据不平衡：不平衡的数据使得算法模型无法正确表示数据的特征

模型的性能：由于手机和嵌入式设备计算性能和内存资源的限制，必须要求检测模型的size小处理速度快

在实际使用中，人脸关键点的问题主要有两个：1)对“点是否遮挡”判断是否准确；2)对大角度人脸(+-60 度以内)点位置预测的准确性和稳定性。解决思路

修改 loss，增加关键点的空间约束项(三个姿态角)和数据均衡项；

backbone 采用 MobileNet(常规操作)；

用 auxiliary network，让点位置预测更稳定和鲁棒(常规操作)

一种人脸68特征点检测的深度学习方法曾经详细描述过数据集采集、清洗和增强的过程，也给出了整套的流程，但是其代码杂乱无章，太过分散，使用的网络结构也比较重，不能满足实时运行的需要, 此外基于caffe的prototxt也给后面调节网络结构带来很大的麻烦.

级联MobileNet-V2实现CelebA人脸关键点检测提供了轻量级网络同时人脸检测和5点关键点的方法，除了点数不太够，繁琐的训练流程也是制约其广泛使用的重要原因，此外，其精度受限于使用的CelebA，在大姿态下效果也不怎么好.

综上，一个密集的端到端轻量级的模型是人脸美颜等关键点应用的刚需，但是由于能直接拿来卖钱，大家都不怎么公开技术方案，典型的如HyperLandmark提供了Android端可用的库，但是训练部分一直讳莫如深.

参考:

人脸关键点检测综述

人脸关键点对齐

一种人脸68特征点检测的深度学习方法

一个实用价值很大的人脸关键点检测算法PFLD: PFLD-pytorch