人脸方向学习（二十）：Face Landmark Detection-TS3-解读

最近刷到CVPR和ICCV近两年来在关键点方面的论文，简单总结下，主要是想选一些在移动端能部署的网络结构。最近两年的关键点论文主要用一些主流的方法去做的，比如用教师模型去筛选检测之后的关键点（知识蒸馏），用风格转移的方式去合成人脸（风格迁移），还有用光流利用帧与帧之间的信息去模糊的（去模糊）。对比之后发现这些网络都比较复杂，不适合移动端。但是18年SAN用聚类的方式选出风格，然后用GAN合成人脸（cycleGAN），但是训练阶段比较简单，用的网络就是VGG合成多尺度信息，NME测试仅次于PFLD，作者也公布了代码（pytouch），所以可以考虑在移动端部署。
 

3、Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection

论文地址：https://arxiv.org/abs/1908.02116v3

主要思想：第一步学生检测器通过检测网络生成伪标签的人脸关键点，老师网络选择一些合适的样本作为老师模型的输入，然后将学生检测器生成的关键点和老师网络生成的合适的伪标签样本作为学生网络的输入，循环往复的通过老师网络挑选样本进行纠正，并对学生关键点的生成产生影响，使得学生模型定位更准确。

 两个学生网络的网络结构如下：studentA是一个卷积姿态网络（convolutional pose machine network）

stduentB是一个沙漏网络(stacked hourglass network)

 

 老师网络结构如下：

老师网络的输入是原始RGB人脸图像和学生检测器产生的热力图，输出是经过缩放，输入的热力图中质量较好的人脸图，训练阶段可以应用产生的理想的热力图计算检测loss并且同时生成热力图，教师网络主要是为了过滤掉loss中存在的负值。评估阶段，图像质量越高，关键点检测的loss越小，这就表明生成的伪标签更准确。