人脸方向学习（二十一）：Face Landmark Detection-FAB-解读

最近刷到CVPR和ICCV近两年来在关键点方面的论文，简单总结下，主要是想选一些在移动端能部署的网络结构。最近两年的关键点论文主要用一些主流的方法去做的，比如用教师模型去筛选检测之后的关键点（知识蒸馏），用风格转移的方式去合成人脸（风格迁移），还有用光流利用帧与帧之间的信息去模糊的（去模糊）。对比之后发现这些网络都比较复杂，不适合移动端。但是18年SAN用聚类的方式选出风格，然后用GAN合成人脸（cycleGAN），但是训练阶段比较简单，用的网络就是VGG合成多尺度信息，NME测试仅次于PFLD，作者也公布了代码（pytouch），所以可以考虑在移动端部署。
 

4、FAB: A Robust Facial Landmark Detection Framework for Motion-Blurred Videos

论文地址： https://arxiv.org/abs/1910.12100

 

论文主要思想是先对图片去模糊，然后进行关键点检测。视频图片去模糊是利用帧间信息实现去模糊。

 

下图是论文主要结构：

先取出视频的当前两帧图片Et-1 and Et-2， 沙漏网络H预测这两帧的边界光流信息，Warping block W 根据光流F将前两帧信息卷绕成当前帧的边界图，然后将边界图与It-2, It-1, It 拼接输入Boundary-aware Deblur Network，边界感知去模糊网络输出人脸图像St,取出它作为关键点检测网络的输入，进行人脸关键点检测，这个检测网络通过插值到人脸边缘，并且提供人脸结构信息到下一个沙漏网络，所以网络准确率度会越来越高。