腾讯游戏开发精粹Ⅱ——捏脸系统（阅读笔记）

一： 捏脸系统

2D游戏：角色的个性化设定通过修改贴图来实现，不同部位的贴图存在图层前后关系。
3D游戏：通过网格与贴图的方式来实现。
常见的角色个性化设定由两种方式：

1. 模板选择方式；
   优点：模板都是预先制作的，效果可控，美观。
   缺点：需要花费大量时间生成足够多的模板。
2. 自由调整方式；
   优点：提供具有物理含义的滑条，关键点的拖拽等以达到改变模型的效果。使得可以生成的个性化角色数量大幅增加，减少人工生成模板的成本。
   缺点：对于没有美术功底的普通玩家，通过滑条或关键点的调整很难达到满意的细微的人脸变化。因此，自动捏脸成为了很多游戏中的关键模块。

目前，行业中的自动捏脸系统主要有以下几方面的问题：

1. 仅能适用于真实系的游戏，现有的系统采用将真实人脸的特征直接迁移到游戏人脸中的方法，保证两张人脸的类似，无法适用于风格变化较大的卡通系游戏。
2. 现有的系统需要对游戏引擎进行模拟或对真实人脸进行全脸建模，计算复杂度较高。
3. 现有的系统模块耦合度较高，对于不同游戏的部署需要进行算法及系统方面的较大调整。

二. 基于照片的角色捏脸流程

1. 输入照片，检测其中主要的人脸，同时进行发型分类和眼镜检测。
2. 在检测到的人脸区域，进一步进行关键点检测。对原始照片中的关键点进行预处理，已达到归一，对称，平滑的效果。
3. 根据游戏风格，对人脸关键点进行调整。
4. 得到风格化的关键点后，将其转化为游戏中模型的控制参数。
   

1. 基于关键点的人脸表示方法

脸部特征一般分为形状特征和颜色特征。
业内比较成熟的表示方式是使用关键点信息表示脸部特征。关键点越多，表示能力越强。但是自动捏脸需要对定义的关键点的3D信息进行估计，关键点越多，预测难度越大。

2. 人脸关键点检测

1. 基于深度学习（CNN）的人脸检测。
   可以在更加难以识别的照片中检测到人脸，如人脸朝向较偏，光照阴影干扰较大的情况。
   需要使用GPU进行推理，否则检测速度较慢，尤其对于较大的图片。
2. 基于图像特征（HoG）的人脸检测。

基于卷积神经网络（CNN）的3D人脸重建和人脸关键点检测方法，大体上可以分为两类：

1. 基于3D Morphable Model (3DMM)的方法。
使用CNN来预测3DMM系数或3D形变，根据单张2D人脸照片来复原人脸3D信息，从而进行密集的关键点检测或人脸3D重建。
这类方法效果受限于人脸模型或模板定义的模型空间，重建的3D人脸往往过于接近模板而较少保留重建对象人脸的特征。
这类方法使用CNN预测3DMM系数后需要调用模型基得到3D人脸三角面片模型，还需要使用透视投影和3D非线性形变等计算。增加了3D人脸重建的计算开