原文链接：https://blog.csdn.net/lailuosanjiao/article/details/93857367
文章：《Joint 3D Face Reconstruction and Dense Face Alignment from A Single Image with 2D-Assisted Self-Supervised Learning》
概述：由于缺乏三维标注的训练数据，基于CNN学习三维人脸模型的方法的性能被大大的限制。为缓解这一问题，文章提出一种新的二维辅助自监督学习（2DASL）方法，该方法可以有效的利用带噪声特征点信息的野性二维人脸图像，大幅提高三维人脸模型的学习效果。具体而言，将稀疏的二维人脸特征点作为附加信息，2DASL引入四种新的自监督方案，将二维特征点和三维特征点预测视为一种自映射过程，包括二维和三维特征点自预测一致性、二维地标周期预测一致性和基于特征点的3DMM预测系数自评。利用这四种自监督方案和改进的传统3D监督，2DASL方法显著降低了传统2D-to-3D配对标注的要求，在不需要额外3D标注的情况下，提供了高质量3D人脸模型。
网络构成：CNN Regressor为ResNet-50，Encoder包含6个卷积层，每个卷积层后面是ReLU和最大池化层。critic由4个完全连接层构成，分别由512、1024、1024、1个神经元组成，接着一个softmax层，获得输入对的一致性程度得分。
输入：CNN Regressor采用4通道张量作为输入，连接3通道RGB人脸图像和1通道2D人脸特征点图（FLM，一个二值图像，与人脸特征点对应取1，其他位置取-1）。输入图像裁剪为120×120。
输出：f尺度因子，t平移向量，Π由9个参数构成的投影矩阵，αs∈R40人脸形状表示参数，αexp∈R10人脸表情参数，共62个参数。
其中，V是存储3D顶点投影到2D平面的2D坐标，Pr正交投影矩阵。
损失函数：
训练流程（个人设想）：
- 使用总损失L来训练模型
上层路径通过3D标注监督对模型进行训练。底层路径通过基于二维人脸图
像的自评价监督训练模型。特别的，二维图像由编码器转换为潜在表示，自评模块以ground truth对为参考，评估预测系数是否与潜在表示一致。
每个iteration中：
- 从有3D注释的数据集中采样m个样本，损失函数：L3d,Lcyc,L2d-con,L3d-con，训练Regressor。
- 从仅有2D特征点的数据集中采样m个样本，加上（1）中的m个样本，由Encoder生成相应结果。以此为输入，损失函数：Lsc，训练Disc。
（1），（2）重复训练多次。？（对应GAN，G不应训练多次）
- 再有3D注释的数据集中采样m个样本和仅有2D特征点的数据集中各采样m个样本，固定Disc，损失函数：Lsc,Lcyc,L2d-con,L3d-con，训练Regressor。
- 用（3）中从仅有2D特征点的数据集中采样的m个样本，固定Disc，损失函数：1mi=1mlog(1-D(…))，训练Encoder。
- 使用顶点距离代价对模型进行微调，遵循《Face alignment across large poses:
A 3d solution》
训练设置：CNN regressor采用SGD optimizer，学习率由5×10-5开始以指数衰减。Discriminator 采用Adam为optimizer，固定学习率1×10-4。Batch size设为32。λ1，λ2，λ3，λ4=0.005，0.005，1，0.005。
数据集：
- 训练数据集：
- 300W-LP：包含超过60K带3DMM注释的人脸图像。
- UMDFaces：包含8277主题共367888个静止人脸图像。
采用先进的二维人脸特征点检测器（《How far are we from solving the 2d & 3d face alignment problem?(and a dataset of 230,000 3d facial landmarks)》）检测所有人脸图像的二维人脸特征点。
- 测试数据集：
- AFLW2000-3D：由采集自AFLW的头2000个图片构成。每个人脸图片带有相应3DMM系数和68个3D人脸特征点注释。文章使用此数据集评估该三维人脸重建和稠密人脸对齐方法。
- AFLW-LFPA：是AFLW的另一个拓展。其根据姿态从AFLW提取图像构造。它包含1299张测试图像，具有平衡的偏航角度。每张图片都附有34个面部特征点。文章使用这个数据集评估稠密人脸对齐任务的性能。这34个特征点作为ground truth来衡量文章结果的准确性。
918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
