【论文翻译】Auto-painter：基于条件Wasserstein生成性对抗网络的草图卡通形象生成

摘要

近年，基于深度神经网络的真实感图像生成已成为机器学习和计算机视觉领域的研究热点。通过从大量的图像集合中学习，可以在像素级生成图像。学习由黑白草图生成彩色卡通图像不仅是有趣的研究问题，也是数字娱乐领域一种有效的应用。本文研究了利用条件生成对抗网络(CGAN)实现草图到图像合成的问题，提出了一种名为auto-painter的自动草图着色模型。为了克服模型崩溃并提升模型融合效果，Wasserstein距离被用于训练cGAN。新的模型不仅能够用适当的颜色填涂手绘草稿，而且还允许用户添加色彩提示指导着色过程。不同草图数据集的实验结果表明，与其他现有的图像翻译算法相比，auto-painter的性能更好。

引言

人类具有强大的理解黑白卡通草图的能力。我们的大脑可以由抽象的黑白动画片创建逼真的彩色图像。然而，选择合适的颜色并适当更改光线和阴影以创建与视觉兼容的卡通形象可能需要出色的艺术天分，这对未经训练的人们来说并不容易。如果我们可以自动给草稿上色，它将会成为一个很好的应用以辅助卡通或其他数字娱乐行业的艺术家。在此工作中，我们致力于利用深度神经网络将黑白线稿转换成特定的卡通风格来解决上述问题。事实上，新模型可以修饰原始的人类艺术天分，甚至激发艺术家创造不同风格的卡通。理想情况下，人们可以根据自己的口味自由地生成各种风格的卡通。
由草图生成卡通图像可以被视为一个图像合成问题。从前，许多将草图和已存在的图像碎片数据库匹配的非参数模型^[1,2,3]被提出。最近，基于深度神经网络的大量图像合成方法^[4,5,6,7]应运而生。这些方法可以生成有细节的图像，例如人脸、卧室、椅子和手写数字。由于逼真的图像充满清晰的细节，生成结果可能会受到模糊^[8]、噪声^[6]和对象抖动^[9]的影响。此外，由于生成器从随机的低维向量中采样且模型具有很大的灵活性，网络的输出很难被控制。几种新方法探讨了不同应用中可控制的图像合成方法的适用性，例如超分辨率问题^{[10,11,12,13]}、语义对象标记^[14]、图像处理^[15]、图像去雾^[16]、灰度图像着色^[17]和其他图像到图像转换^[18,19]，得到了令人信服的结果。对于控制信号相对稀疏、比基于灰度着色更不适定的草图到图像转换问题^[20]而言，尤其需要一个模型来合成比输入所含内容更丰富的图像细节。网络应学习低级纹理信息和高级图像风格。色彩搭配可以反映出卡通风格（例如，一种风格可能是绿色头发、紫色眼睛，另一种风格可能是黑色头发、黑色眼睛），这可能需要更多的约束来建模。我们研究如何使用具有条件设定的生成对抗网络（GANs）进行图像生成。约束包括总方差损失、像素损失和特征损失，被用于训练生成器以便生成更多不同样式的颜色搭配。TV正则化首次被使用^[21]以鼓励空间平滑。我们还引入了颜色控制，使用户可以用他们喜欢的颜色填涂。图1-1展示了一个从草图生成卡通图像的例子，并将auto-painter的结果（有无颜色控制）与中间的真实图像进行比较。
此项工作的主要贡献如下：

• 我们提出了一个名为auto-painter的学习模型，可以利用条件生成网络（cGAN）由草图自动生成生动、高品质的彩色卡通图像。在模型中，我们将传统损失和对抗损失组合以生成更合适的颜色。
• Wasserstein距离损失被用在基于cGAN的模型中。实验结果表明Wasserstein GANs^[22]可以稳定地训练cGANs并获得与其他模型相比更好的结果。
• 我们的成果是最早使用GANs进行卡通生成的任务之一，其初始结果被线上发表在arXiv。我们还设计了一个有用户界面的示例程序以供测试，所有代码都已开源。

相关工作

生成对抗网络

生成对抗网络（GANs）最近被视为机器学习^[6,7]领域的一大突破，它包含两个“对抗性”模型：获取数据分布的生成模型G和判定示例来源于训练集还是G的判别模型D。G和D都是深度神经网络。在使用GANs进行图像合成的过程中，生成器试图从输入的随机向量中产生真实的图像以欺骗训练有素的判别器，判别器则尝试区分输入图像来自训练集还是生成器。这相当于一个二元极小极大博弈。生成器从卷积解码器网络中获益，类似的研究可回到使用深度卷积解码器网络生成真实感图像的工作^[7]。