[ECCV2020]Eyeglasses 3D shape reconstruction from a single face image

标题：Eyeglasses 3D shape reconstruction from a single face image

链接：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123700375.pdf

本文讲的是如何基于人脸图像做3D眼镜（不包含眼镜架）重建。

作者自己收集了一些图像，然后手工标注了眼镜的landmark和segmentation mask。

整体流程如下所示：

1.从输入图像中提取人脸和眼镜的特征，即landmark和segnmentation map

2.将3DMM模型配准到原始图像中，获得面部的pose

3.结合人脸pose计算出眼镜的pose，即先将眼镜的初始pose设为人脸Pose，然后再加一个相对人脸的位移即可。

4.结合眼镜pose将眼镜做frontalization

5.从眼镜模板库中寻找到最接近的一个模板，作为重构基础。（作者自己设计了九个眼镜模板，说是可以囊括大部分的眼镜。）

6.再在模板的基础上根据输入的眼镜特征做进一步的优化，使之更好的贴合眼镜。