人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片

人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片摘要 - 在本文中，我们提出了第一个交互式个性化和真实感面部漫画的素描系统。输入人脸图像，用户可以通过操纵其面部特征曲线来创建漫画照片。我们的系统首先根据编辑的草图对恢复的3D人脸模型进行夸张，该草图通过为每个顶点的拉普拉斯分配比例因子来进行。为了构建2D草图和顶点缩放场之间的映射，开发了一种新颖的深度学习架构。利用所获得的3D漫画模型，生成两个图像，一个通过应用由下面的3D网格变形引导的2D扭曲而获得，另一个通过重新渲染变形的3D纹理模型而获得。然后将这两个图像无缝集成以产生我们的最终输出。由于网格的严重拉伸，渲染的纹理具有模糊的外观。利用深度学习方法来推断缺失细节以增强这些模糊区域。此外，发明了一种重新照明操作以进一步改善结果的照片级真实感。定量和定性实验结果均验证了我们的草图绘制系统的效率以及我们提出的技术对现有方法的优越性。

人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片引言：由于最近将增强现实与使用智能设备的通信和社交网络相结合的趋势，对人类面部图像的智能操作，例如程式化[1]，表达式编辑[2]和面部重演[3]，已经变得广泛流行。然而，对于在图像中出现的面部应用大的几何变形的工作相对较少，包括从真实的面部图像制作漫画。然而，大多数此类工作[4]，[5]将面部图片转换为线描风格的漫画。在本文中，我们将重点放在基于草图的个性化漫画创作上，这些漫画具有逼真的阴影和纹理。如此高品质的真实照片
catures代表了一种重要的增强现实形式。
我们的目标有三个要求，基于草图的交互，个性化和照片写实。由于在创建漫画时存在很大的自由度，因此需要交互式指导。通过模仿徒手画，素描是一种既有效又方便用户的交互形式。个性化非常重要，因为用户喜欢在制作漫画时保留面部的身份。通过遵循通常采用的3D感知策略来实现照片写实，该策略利用从输入面部图像恢复的基础3D面部模型。
制作时满足上述三个要求由于以下原因，漫画具有挑战性。首先，草图仅提供非常稀疏的输入，而创建表现性漫画需要在面部表面上进行密集编辑。它们之间的映射是高度非线性的。设计一种有效的机器学习算法来学习这样的映射是非常重要的，这不仅需要对局部形状变化非常敏感，而且还要保证密集编辑仍然保持原始的面部识别可识别。其次，在创建漫画的过程中，面部几何经历大的变形，引起局部几何变化，这导致变化的几何与原始外观属性之间的不一致，包括在拉伸区域中不正确的阴影和不足的纹理分辨率。第三，虽然我们可以恢复输入图像中面部区域的3D面部模型，但我们没有其他面部图像的3D信息，包括头发和人体的其他部分。在图像重新渲染过程中，我们如何在没有3D信息的情况下扭曲图像区域，以便它们与具有3D信息的面部区域保持一致？
人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片贡献：在本文中，我们提出了一种新颖的基于草图的系统用于从照片创建个性化和逼真的漫画。给定人脸及其底层3D模型的输入图像，使用[6]中的方法重建，我们的系统可以分三步产生逼真的2D漫画：使用输入图像对3D模型进行纹理映射，3D纹理面夸张，将夸张的脸部重新渲染为2D图像。为了解决基于草图的面部夸张的核心问题，我们引入了一种基于深度学习的解决方案，其中训练数据包括输入正常面部模型的编码，输入草图及其相应的夸张3D面部模型。由于网格具有不适合高效深度学习算法的不规则连接性，因此这些编码被定义为面部的2D参数域上的图像，并且面部夸张被视为图像到图像的翻译问题[7]。为了支持网络训练，创建了一个草图到夸张对的大型合成数据集。我们还提出有效的解决方案来解决技术面部图像重新渲染时遇到的卡尔问题。

首先，为了修复由于面部几何变化引起的不正确的阴影效果，开发了一种优化算法以找到最佳的像素明暗阴影缩放场。其次，由于面部夸大而导致的纹理分辨率不足通常会使重新渲染图像中的某些局部区域变得模糊。通过学习在这样的模糊区域中推断缺失的高频细节，再次利用基于深度学习的图像到图像转换来处理该问题。为了实现草图界面所需的高效性能，我们将输入照片分成重叠的补丁，并分别在各个补丁上运行轻量级的pix2pix网络[7]。为了避免沿着贴片边界的接缝，深度网络被训练用于推断高频残差而不是最终像素颜色。第三，具有基础3D模型的区域与不产生伪影的区域之间的不一致性，尤其是在面部边界，耳朵和头发区域上。为了消除这些伪影，我们首先生成两个图像，一个通过应用由下面的3D网格变形引导的2D扭曲而获得，另一个通过重新渲染变形的3D纹理模型而获得。然后将这两个图像无缝集成以产生我们的最终输出。
贡献。总之，本文有以下贡献：

•我们提出了一个易于使用的综合草图系统，用于从照片中交互式创建个性化和逼真的漫画。我们的系统通过一系列新颖的技术实现，包括3D面部夸张，夸张的面部重新着色，图像细节增强和无伪影漫画合成。
•我们设计了一种新颖的基于深度学习的方法，用于根据用户提供的2D草图编辑推断底层3D人脸模型的顶点夸张图。
•设计了一种用于面向贴片的残差推理的深度神经网络，用于推断其他高频细节，以便在重新渲染过程中提高拉伸纹理的分辨率。
•构建了两个数据集，用于训练和测试我们的草图绘制系统中使用的深度神经网络。第一个是用于训练深度网络的大型合成数据集，它将稀疏草图映射到密集的夸张地图。第二个是用于训练深度网络的高分辨率（1080p及以上）肖像照片的数据集，其用于合成具有不足分辨率的面部纹理的高频细节。这些数据集将公开发布，以使在该领域工作的其他研究人员受益。

相关工作：我们从以下四个方面研究文献综述。
2D漫画生成。输入人的图像面对，使用计算机算法创建其漫画可以追溯到[8]的工作，其中提出了第一个交互式漫画生成系统。 Akleman [9]进一步提出了一种具有变形技术的交互式工具。之后，许多方法试图自动化此过程。例如，Liang等人。 [4]开发了一种从训练数据集中学习夸张原型的自动方法。基于原型，然后应用形状夸大和纹理样式转移以创建最终结果。 [10]的工作提出从面部图像数据库及其相应的漫画中学习非齐次吉布斯模型（IGM）。使用学习的IGM，可以从输入照片自动生成漫画。通过分析面部特征，廖等人。 [5]发明了一种使用漫画图像作为参考的自动漫画生成系统。我们强烈建议读者参考[11]对计算机辅助漫画生成的详细调查。与这些旨在以抽象线条风格创作漫画的作品不同，在本文中，我们专注于生成光动力学漫画。 3D漫画建模。还有很多作品
从正常的3D人脸模型创建3D漫画模型。这通常通过首先识别独特的面部特征然后使用网格变形技术夸大它们来进行。 [12]和[13]都通过扩大与模板模型的差异，对输入的3D模型进行了夸张。输入网格上的顶点梯度被认为是[14]中面部特征的度量。因此，通过在每个顶点上为其梯度分配缩放因子来进行夸大。此外，一些作品试图从图像中建模3D漫画。例如，刘等人。 [15]开发了一种半监督学习方法，将面部地标映射到从一组3D漫画中学习的PCA模型的系数。吴等人。 [16]引入了一种内在变形表示，可以实现大面积夸大，提出了一种优化框架，用于从漫画图像中进行三维重建。最近，凭借先进的深度学习技术，Han等人。 [17]提出了deepsketch2face，它训练卷积神经网络（CNNs）来构建从2D草图到代表3D漫画的双线性可变形模型系数的映射。虽然我们的目标也是从2D草图制作3D漫画模型，但它在两个方面与此方法不同。首先，deepsketch2face的输出仅与草图相关，而我们的结果取决于输入的3D人脸模型和操纵的草图。这使得我们的方法针对个性化漫画，即具有相同草图的不同面部可以具有不同的结果。其次，deeps-ketch2face使用66维向量来表示3D漫画形状空间，而我们的方法使用顶点缩放因子进行表示，从而产生更大的空间。
3D感知面部修饰。随着单个图像3D面部重建的快速发展（例如，[18]，[19]，[20]，[21]），大量的作品已经验证了3D面部信息可以极大地帮助智能面部修饰 - ING。例如，杨等人。 [22]提出了一种在具有相同面部身份的两张肖像照片之间传递表情的方法。为此，首先恢复两个输入图像的3D模型，然后投影它们的变形以产生变形场。然后在[23]中利用该方法进行面部视频的表达编辑。 [24]也采用这种3D感知翘曲策略来模拟相机与面部主体之间的相对姿势和距离的变化。舒等人。 [25]也利用这种翘曲的方法使照片中的闭眼开放。使用重新渲染框架，[26]和[3]的作品成功开发了用于视频实时面部重演的系统。据我们所知，我们是第一个在图像上执行非常大的几何变形的工作。这将导致：a）自我遮挡; b）视觉上不合理的阴影效果; c）模糊的纹理。这些使现有方法失败。在本文中，设计了几种技术来处理第5节和第6节中描述的问题。

人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片结论和讨论：在这项工作中，我们提出了第一个用于交互式照片级真实漫画创作的素描系统。输入带有人脸的人像照片，通过我们的系统，用户可以根据个人意愿操纵面部特征线来进行漫画。我们的系统首先从输入图像恢复3D人脸模型，然后根据编辑的草图生成其漫画模型。我们的3D夸大是通过为每个顶点的拉普拉斯分配比例因子来进行的。为了构建2D漫画草图和顶点缩放因子之间的映射，开发了深度学习架构。为此，我们建议将网格上的信息展平为参数域，并将3D形状和2D草图编码为一组图像。因此利用Pix2Pix-Net [7]的变体将这种2D图转换为顶点比例图。基于创建的漫画模型，我们的照片合成遵循几个步骤。首先，我们进行了面部细节增强，旨在推断由于网格拉伸引起的模糊区域的缺失细节。这种推理也采用深度学习架构。之后，我们将投影的纹理图像与扭曲的背景融合在一起，并应用重新整形操作以获得最终结果。定性比较表明，我们的框架优于所有现有方法，消融研究的定量结果也验证了我们网络设计的有效性。限制。我们的系统仍然存在两种挑战方案的局限性。首先，对于带有诸如眼镜等配件的面部图像，如图16（a）所示，我们的方法会导致扭曲。这是由于缺乏眼镜的3D信息。第三，我们的重塑方法仅捕获全局照明，这使得难以处理复杂的照明环境。注意到图16（b）所示的例子，我们的方法由于错误估计而产生错误的阴影效果
全球照明模型。

原文标题：CaricatureShop: Personalized and Photorealistic Caricature Sketching