人脸对齐算法调研（Face Alignment）

 

人脸对齐算法调研（Face Alignment）

转载自 https://zhuanlan.zhihu.com/p/101250334

一、人脸对齐的定义与作用（引用）：

https://blog.csdn.net/App_12062011/article/details/52562963​

blog.csdn.net

 

 

二、截止目前的研究现状：

1、2016-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks（MTCNN）

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks​arxiv.org

 

方法简介：

MTCNN由三个级联的网络组成，是一个逐步查找定位的过程。

MTCNN结构图

• 首先输入经过Resize得到不同大小的图像，形成金字塔结构；
• Stage1_P-Net和Stage2_R-Net：这两步通过生成候选框得到目标区域，再通过NMS（极大值抑制算法）去除冗余框；
• Stage3_O-Net：同样将前面的输出作为输入并通过NMS去除冗余框，同时生成面部的关键点（五个关键点）；

结果简介：

MTCNN与多种算法结果比较，综合考量其mean error较低，其中五个关键点的检测中mean error是6.9%。

结果对比

2、2017-Deep Alignment Network: A convolutional neural network for robust face alignment（DAN）

https://arxiv.org/abs/1706.01789​arxiv.org

 

方法简介：

DAN的总体结构是多层级联网络，首先是输入整张图片I，FEED FORWARD NN用于预测关键点（68个），S0是标准关键点模板，S1是该图片矫正后的关键点，CONNECTION LAYERS会生成用于下次迭代的特征（下面介绍），经过N次迭代得到结果。

DAN结构图

CONNECTION LAYERS结构包括图像矫正，关键点热图生成和fc特征生成，主要用于对后面的迭代进行指导。

CONNECTION LAYERS结构图

结果简介：

其中DAN-Menpo的mean error达到最低4.83%（68个关键点）。

mean error结果对比图

3、2018-Look at Boundary: A Boundary-Aware Face Alignment Algorithm（LAB）

https://arxiv.org/abs/1805.10483​arxiv.org

 

方法简介：

LAB首先根据标注点插值和沙漏网络得到轮廓边界线热图来辅助训练，再使用特征点回归网络得到准确的特征点。

LAB结构图

结果简介：

LAB在Fullset上的mean error是4.12%。

mean error结果对比图

4、2018-Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment（SDU-Nets）

Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment​arxiv.org

 

方法简介：

该算法的输入是原图和经过仿射和翻转变换后的图片，包括两个Dense U-Net，其中Dense U-Net是根据U-Net改进的多层聚合网络用来提取特征。

SDU-Nets结构图

结果简介：

本算法测试数据缺少fullset的，cofw上的mean error是5.55%。

结果对比图

5、2019-Joint Super-Resolution and Alignment of Tiny Faces（JASRNet）

Joint Super-Resolution and Alignment of Tiny Faces​arxiv.org

 

方法简介：

本文算法包括一个共享模块，超分辨率和人脸对齐模块，同时实现了超分辨率重建和人脸对齐，最后得到高清图像和热图。

JASRNet结构图

结果简介：

该结果分别展示了高分辨率图像（64*64）和低分辨率图像（16*16）下的测试结果，表中上半部分是高分辨率的测试结果，下半部分是低分辨率的测试结果。

结果对比图

 

三、拟验证的算法：

1、2016-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks（MTCNN）

Sierkinhane/mtcnn-pytorch​github.com

2、2018-Look at Boundary: A Boundary-Aware Face Alignment Algorithm（LAB）

https://github.com/facial-landmarks-localization-challenge/Look_At_Boundary_PyTorch​github.com

 

3、2019-Joint Super-Resolution and Alignment of Tiny Faces（JASRNet）

https://github.com/YuYin1/JASRNet​github.com

 

 

发布于 2020-01-07

计算机视觉

图像识别

算法

推荐阅读

rank-1:98.7%.基于人类视觉的行人重识别算法：AVPL

黄业文

论文分享：边缘感知人脸对齐算法

GEETEST极验

人脸检测：MTCNN（ISPL2016）

TeddyZhang

【CV-Face】深度学习从入门到放弃之人脸识别目录

目录 1、相关数据集 2、评价度量 3、相关论文目录 1、相关数据集2、评价度量3、相关论文目录 2014----DeepFace_Closing the Gap to Human-Level Performance in Face Verification 2014----…

西红柿牛腩

还没有评论

写下你的评论...