人脸三维重建和 人脸表观建模

获取一个人脸的几何结构构建，材质，颜色和表观

为什么 会专注做 人脸图像，为什么 重要

喜欢 用移动设备采集 的 多媒体数据里面，记录自己的生活，超过百分之六十的 里面有人脸，三维人脸重建和表观建模以及三维 表情捕捉在工业界和电影界的应用，基于人脸 融合的，人体彩绘，智能自动上妆，应用在美容行业，术前和术后的重建 ，三维重建和动画驱动，在 工业界，刚开始并没有研究人脸本身的特质，而是用一种传统 的三维 重建的 方法直接 应用 在 ，1 主动方法：结构光，激光扫描，计算发送 和 返回的 时间差，2被动方法，与场景进行互动，多目视觉，shape from x，分析图片中的一些图像的feature，明暗变化 ，聚焦和 视焦，包括。。，用深度采集设备，采集一大堆 数据集，进行深度学习学习重建方法。 

在 工业界取得的成熟应用技术

以单张图片做为输入如何比较好的重建出好的 几何 和表观

       合成分析法，基于优化的，人脸的几何结构在图像上的位置，人脸的明暗关系（shading），几何结构的表达，点云，深度传感器，不具有 几何 应用 ，人脸位置的 每一个像素都 恢复 一个法相值或者 一个 深度，参数化的表达，人的几何结构基本类似 ，提出一种参数表达复杂的人脸模型，2d-3d的 映射关系，投影方法，正交投影，近大远小，近视投影，弱透视投影，全透视投影，

      参数化模型：3d morphable模型（09）帮助不同光照下 的人脸识别的，认为一个人的几何结构，取决于人本身长什么样，胖瘦，取决于当时人的表情，可以 采集人的很多的三维模型，通过 pca降维，得到3dmm，包含了两个部分，对人体几何结构的描述 ，从人体的平均几何描述，在做pca的 过程 中提取两个维度的特征向量，描述了一个人的长相和一个人的表情特征向量，@就是我们想恢复 出来的可以表征 这个人 的长相是什么的一个向量的特征权重，类似的我们可以对人的 肤色进行简单的表达，从一个平均肤色开始 我控制 它的 不同维度的 变换就可以得到不同人种，比如白中，就可以秒你一个肤色的变换。使用wherehouse，pnet获取到一个人在不同表情下的几何，进行非刚性的形变，张嘴的大小不同 ，通过facial rigging，我们会定义一个 标准的表情模板 ，通过标准的 表情模板和我们实际采集的数据 模板 之间进行数据的匹配 ，我们就可以得到不同 的人在标准表情下面它对应的几何结构是什么，我们可以重复在很多人身上，可以得到数据集，在进行pca分析，就可以得到三维形变模型里面的一些 解向量，完成了 模型的构建，我们三维人脸重建的问题就退化成了，对一些模型中间参数回归的过程，参数具体为：投影矩阵，身份，表情，肤色，有了 这个问题，就可以归纳成为通过一张输入的图片对这几个固定的参数进行回归的问题，常用的两个约束呢，有两种，对人脸的特征点，在三维人脸模型上去预先定义一些人脸特征点，比如68个特征点，我们通过2d特征点检测器可以来输入图像上也检测到对应的特征点，通过我们的投影矩阵把三维模型上的特征点映射到二维上面，与二维上面的像素位置对齐的过程就是构建一个 我们对几何结构的约束，那另外一个约束：那我们希望我们三维模型上的每一个点所属的颜色与它投影到二维图像上的像素的颜色是一致的，通过这两个约束 就可以 得到一个比较好的三维 重建的约束。

      透视投影的时候恢复 相机的内参矩阵（包括相机焦距和光星）相机内参矩阵被破坏了，我们在恢复一个假设相机的内参矩阵其实并不完全正确，另一个问题，人脸在自拍的时候会发生一些旋转，旋转以后我们 定义在三维 模型上的关键 点就会因为头部旋转 发生一些遮挡，那这样的话和我们的 二维检测到人脸轮廓就不能形成一个比较好的语义上的对应，那么 怎么办呢，有三种解决办法1 定义 一条边界线可能解决不了的问题，在我的三维模型上定义一条比较长的一条边阶段 ，那我就认为我不管怎么转头 ，那 在 这条边界段上面的顶点总会被露出来，总会 被检测成边界，那我们在迭代优化，解决人脸旋转的过程 当中其实我们可以每次从我们的边阶段当中选取一个点，作为我新的顶点和我二维边界点的一个映射，带来额外的开销，重新计算边界 点，可见性 ，比较耗时，2 每次算出来人脸新的pose，在我的投影点的周围找一个离我2d点更近的范围，有些特征点是严格和特征点相对应的，比如下巴，在耳朵点实时更新，3放弃二维的，直接检测3d，2d和2d主要区别在于人脸 轮廓 的检测上

    人脸的几何结构 ，出现 一些细纹，shape-from-shading  ，建立一种 在 均匀白球上的颜色，能 找到他们当中的一种对应的话，那么反过来可以 表达一种青蛙的表面几何结构，normal的朝向，通过分析物体表面的明暗变化可以得到物体的几何结构，如何给人脸加一些 比较好的细节，shapefrom，分析成像原理，在lambert漫反射的材质下面，它的物体 表面的亮度它是符合coslog，也就是说，那我们观测到的 物体表面的反射强度，只和我们观测的入射光和物体表面的法线的夹角的cos成正比I=A(使我们物体表面的颜色)*N(我们物体的法向量)*L（是我们入射光的方向），通过图像得到图像的颜色，2011年 提出了一个球阶函数近似表达一个环境光的一个效果，球面 函数  ，球面函数的每一个点表示对应方向的入射光的强度，那我们把这个球面函数在球面调和上面进行傅里叶展开，就可以找到找到对应的球面调和函数基础的一些系数，那通过这些系数我们可以构建一个和他相关的光照矩阵m，那在这种自然光的环境下面，成像公式就变换成了。

新的发展变化和 趋势

任意pose，处理被遮挡的部分，训练阶段和测试分开，采集gt困难，用合成的数据集加上没有约束的真实图片，可以得到好的训练效果。