本次我们的分享是三维人脸重建问题,我们将从以下几个方面给大家进行分享:
首先,我们对三维人脸重建做一个通用的介绍,并对它的常见的方进行比较详细的介绍。
其次,我们对当前的三维人脸重建中最常用的一个模型,也就是3DMM模型给大家做个非常详细的介绍。在我们的传统方法和深度学习的方法中,都非常频繁地使用到了这个模型。
然后,我们会对三维人脸重建中面临的一些难点进行阐述。主要包括3D数据的获取以及模型精度的问题。
最后,我们将对三维人脸重建的应用进行展示,主要包括在表情驱动及人脸识别这两个方面。
下面开始正式的分享内容。
什么是三维人脸重建问题呢?我们看下面这张图:
这是一张二维的输入图片。当我们基于这样一张二维输入图片,得到了下边这样的一个三维的模型,也就是从2D的图片到3D的模型的转变,这就是一个所谓的三维人脸重建问题。
三维人脸重建问题,它实现了什么目标呢?
首先,它增加了维度。2D图像只包含二维的XY信息,而3D的人脸模型,它增加了一个深度的信息。实际上,通常使用XYZRGB等多维的向量来表示三维人脸的体像素。当包含了更复杂的光照模型之后,这个多维向量不仅仅包含XYZRGB可能还包含很多其他的一些细数。
其次,三维人脸图像相对于二维人脸图像有一个好处,就是三维人脸图像可以进行任意方向的投影,它投影可以得到任意角度的二维图片,得到这样的二维图片之后,它可以用于非常方便地解决二维图像难以解决的大姿态的人脸识别与关键点定位等问题。
那常见的三维人脸重建的方法主要包含三四个:
1)手工建模,也是最传统的方法。许多学过美工的同学应该知道,3DMAX Maya软件就是用于大型的3D模型的建模,它常用在电影和动漫的制作里面。比如说这下面这个图是咕噜咕噜,是《魔戒》里面的一个形象。