3DDFA-V2 :Towards fast, accurate and stable 3d dense face alignment

迈向快速、准确且稳定的 3D 密集人脸对齐

亮点：主要是提出了一系列的优化方案来加速2D图片到3D模型的转换。提出了一个数据增强手段，来帮助模型在视频序列中也很稳定的生成3Dmesh

1：采用轻量级的网络模型回归出3DMM的参数，然后为该网络设置了meta-joint optimization优化策略，动态的组合wpdc和vdc损失函数，从而加速了拟合的速度，也使得拟合的效果更加精确 ；

2：提出landmark-regression regularization（特征点回归正则化）来加速拟合的速度和精确度；

3：为了解决在video上的三维人脸对齐任务（相邻帧之间的三维重建更加稳定，快速，连续性），在基于video数据上训练的模型，但video视频数据库缺乏时，提出了3D aided short-video-synthesis（三维辅助短视频合成技术），将一个静止的图片在平面内还有平面外旋转变成一个短视频；

2： obj文件： 将人脸保存为obj文件 即保存了这个特征点的形状属性，又保存了这个点的纹理属性（r1, g1, b1） ；
ply文件：将人脸保存为ply文件， 只保存了这个特征点的形状属性(x1, y1, z1)，不保存纹理属性；

摘要

现有的3D密集人脸对齐方法主要集中在准确性上，从而限制了其实际应用范围。在本文中，我们提出了一种名为3DDFA-V2的新型回归框架，该框架在速度、准确性和稳定性之间取得了平衡。首先，在轻量级主干网络的基础上，我们提出了一种元联合优化策略，以动态回归一小组3D形态模型（3DMM）参数，这极大地同时提升了速度和准确性。为了进一步提高视频上的稳定性，我们提出了一种虚拟合成方法，该方法可以将一张静态图像转换为包含平面内和平面外面部运动的短视频。在保持高精度和稳定性的前提下，3DDFA-V2在单个CPU核心上的运行速度超过50帧/秒，并且同时优于其他最先进的重型模型。在几个具有挑战性的数据集上进行的实验验证了我们的方法的有效性。预训练模型和代码可在https://github.com/cleardusk/3DDFA_V2。

1 引言

3D密集人脸对齐对于许多与人脸相关的任务至关重要，例如识别[45,7,26,24,13,51]、动画[10]、化身重定向[9]、跟踪[50]、属性分类[4,22,21]、图像修复[52,12,11]、防伪[49,55,40,54,25]。

近期的研究主要分为两类：3D形态模型（3DMM）参数回归[29,59,34,36,48,60,23]和密集顶点回归[28,18]。密集顶点回归方法通过全卷积网络直接回归所有3D点（通常超过20,000个）的坐标[28,18]，取得了最先进的性能。然而，重建人脸的分辨率取决于特征图的大小，且这些方法依赖于如沙漏网络[38]或其变体等重型网络，这些网络在推理时速度较慢且内存消耗大。加快其速度的自然方法是修剪通道。我们尝试在最先进的PRNet[18]上修剪77.5%的通道，以实现CPU上的实时速度，但发现误差大幅增加了44.8%（从3.62%增加到5.24%）。此外，一个明显的缺点是反卷积算子导致的棋盘格伪影，