三维人脸重建

1. 什么是三维人脸重建

三维人脸重建就是从一张或多张2D图像中重建出人脸的3D模型，如果是物体重建就是物体的图片当作输入输出物体的模型。

如图所示，我们将input图片当作输入，通过网络输出三维模型，这个三维模型可以是一个以obj，ply后缀名的文件名。下图所示：

2 obj讲解

我们将obj文件通过 meshlab 软件打开，打开后就可以看到我们需要的重建模型。

我们将result.obj用记事本打开可以看到。

那么接下来我们看看obj文件里面怎么表示的。
.obj : 是一种简单的单独表示3D几何图元的文件格式，通俗来讲就是包含顶点的坐标，每个顶点纹理的UV坐标，顶点法向量，以及组成多边形的面的顶点坐标、以及纹理UV坐标序列，Obj文件可以是ASCII的编码(.obj)方式也可以是二进制格式(.mod)。以ASCII格式存储的obj文件必须用.obj作为文件拓展名。
我们的result.obj

第一行# OBJ File:是注释，
第二行 mtllib ./result.mtl

因为obj文件不包含面的颜色定义信息，不过可以引用材质库，材质库信息储存在一个后缀是".mtl"的独立文件中。mtl文件是obj文件附属的材质库文件，材质库中包含材质的漫射(diffuse)，环境(ambient)，光泽(specular)的RGB的定义值，以及反射(specularity)，折射(refraction)，透明度(transparency)等其它特征。

所以将 mtllib: 此关键字后参数为文件名称，指定了obj文件所使用的材质库文件(mtl文件)的文件名称。
我们打开result.mtl

可以看见
newmtl: 定义新的材质组，后面参数为材质组名称
Ka: 材质的环境光（ambient color）
Kd: 散射光（diffuse color）
Ks: 镜面光（specular color）
d，Tr 均可用于定义材质的Alpha透明度
illum： 照明度（illumination）后面可接0~10范围内的数字参数
0 Color on and Ambient off ：颜色打开和环境光关闭
1 Color on and Ambient on ： 启用颜色和环境光
2 Highlight on
3 Reflection on and Ray trace on
4 Transparency: Glass on
Reflection: Ray trace on
5 Reflection: Fresnel on and Ray trace on
6 Transparency: Refraction on
Reflection: Fresnel off and Ray trace on
7 Transparency: Refraction on
Reflection: Fresnel on and Ray trace on
8 Reflection on and Ray trace off
9 Transparency: Glass on ，Reflection: Ray trace off
10 Casts shadows onto invisible surfaces
map_Ka、map_Kd map_Ks 材质的环境，散射和镜面贴图，对应数据为贴图文件名称
我们对应的是 canonical_image.png

第三行 是提示 我们要写几何顶点信息 # vertices:
v -9.1863 9.1863 -5.0000
v -8.8947 9.1863 -5.0000
v -8.6778 9.2662 -5.9126
v -8.3545 9.2339 -5.5443
v -8.0521 9.2233 -5.4228
一个顶点可以用字符 v开头的一行来提示。接着后面跟上(x, y, z [w])的值来表示顶点坐标。W是可选项，默认为1.0。一些应用支持顶点颜色，通过在x y z后面跟上red, green, blue值来表示。颜色值的范围为0到1.0。

由上图可以看见有8065个顶点，有8065行。
接下来是 # vertice textures: 顶点的贴图坐标点 (Texture vertices)
纹理坐标列表，在（u，v[，w]）坐标中，这些坐标将在0和1之间变化，w是可选的，默认为0。

接下来是 # vertice normals: （x，y，z）形式的顶点法线列表；法线可能不是单位向量。
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
vn -0.0000 0.0000 1.0000
接下来是 # faces: 是顶点法线索引，法线索引用于描述顶点的法向量，在描述面的时候是可选项。要添加顶点法线索引，必须在纹理索引之后添加第二根斜线（／），然后在之后添加法线索引。斜线前后不能有空格。合法的法线索引从1开始，并符合之前面描述的格式。每个面可以包含三个或者更多的单元。比如
"usemtl tex"表示使用的材质。
"f 71/71/71"是 “f 顶点索引/uv点索引/法线索引”
usemtl tex
f 1/1/1 65/65/65 4097/4097/4097
f 2/2/2 66/66/66 4098/4098/4098
f 3/3/3 67/67/67 4099/4099/4099
f 4/4/4 68/68/68 4100/4100/4100
f 5/5/5 69/69/69 4101/4101/4101
f 6/6/6 70/70/70 4102/4102/4102
f 7/7/7 71/71/71 4103/4103/4103
以上就是result.obj里面的所有内容。

3. ply讲解

ply：这个格式主要用以储存立体扫描结果的三维数值，透过多边形片面的集合描述三维物体，与其他格式相较之下这是较为简单的方法。它可以储存的资讯包含颜色、透明度、表面法向量、材质座标与资料可信度，并能对多边形的正反两面设定不同的属性。

每个PLY档都包含档头（header），用以设定网格模型的“元素”与“属性”，以及在档头下方接着一连串的元素“数值资料”。一般而言，网格模型的“元素”就是顶点（vertices）、面（faces），另外还可能包含有边（edges）、深度图样本（samples of range maps）与三角带（triangle strips）等元素。
第一行写 ply

format ascii 1.0 #开头作为PLY格式的识别。接着第二行是版本。
element vertex 97991 # 描述元素及属性，必须使用’element’及’property’的关键字。
element face 194286 一个具有10个面的物体，其PLY档头可能包含。
property list uchar int vertex_indices

'property list’表示该元素face的特性是由一行的顶点列表来描述。列表开头以uchar型态的数值表示列表的项目数，后面接着资料型态为int的顶点索引值（vertex_indices），顶点索引值从0开始
最后，
标头必须以此行结尾：
end_header

-0.7221392 63.663975 97.95859 201 150 121： 顶点元素列表一般以x y z方式排列，
3 17141 17426 17427 ：表示面元素列表。