AI换脸原理(4)——人脸对齐（关键点检测）参考文献2DFAN：How far are we from solving the 2D

摘要

本文研究了在现有的2D和3D人脸对齐数据集上，深度神经网络距离接近饱和性能还有多远。为此，我们做出了以下5项贡献:

• (a)我们首次通过将最先进的地标定位架构与最先进的残差块相结合，构建了一个非常强大的基线，在一个非常大但综合扩展的2D面部地标数据集上训练它，最后在所有其他2D面部地标数据集上对其进行评估。
• (b)我们创建了一个2D地标网络，该网络将2D地标注释转换为3D并统一所有现有数据集，从而创建了LS3D-W，这是迄今为止最大和最具挑战性的3D面部地标数据集(约23万张图像)。
• ©接下来，我们训练了一个用于三维人脸对齐的神经网络，并在新引入的LS3D-W上对其进行了评估。
• (d)我们进一步研究了影响人脸对齐性能的所有“传统”因素，如大姿态、初始化和分辨率的影响，并引入了一个“新”因素，即网络的大小。
• (e)我们表明，2D和3D人脸对齐网络都达到了非常高的精度，这可能接近于使用的数据集饱和。训练和测试代码以及数据集可以从https: //www.adrianbulat.com/face-alignment/下载

1、介绍

• 随着深度学习的出现和大型注释数据集的发展，最近的工作已经显示出前所未有的准确性，即使在最具挑战性的计算机视觉任务上也是如此。在这项工作中，我们专注于地标定位，特别是面部地标定位，也称为面部对齐，可以说是过去几十年来计算机视觉中研究最多的主题之一。最近使用卷积神经网络(cnn)进行地标定位的工作已经突破了其他领域的界限，如人体姿势估计[39,38,24,17,27,42,23,5]，但目前还不清楚人脸对齐的情况下取得了什么进展。这项工作的目的是解决这一差距