论文阅读——CariGANs: Unpaired Photo-to-Caricature Translation

**

论文阅读——CariGANs: Unpaired Photo-to-Caricature Translation SIGGRAPH Asia 2018

**
作者：Kaidi Cao, Jing Liao, Lu Yuan
单位：Tsinghua University, City University of Hong Kong Microsoft Research, Microsoft AI Perception and Mixed Reality

摘要：面部漫画是一种艺术形式的绘画面孔，以夸张的方式传达幽默或讽刺。在本文中，我们提出了第一个用于不成对的照片到漫画翻译的生成网络（GAN），我们将其称为“CariGAN”。它使用两个组件明确地模拟几何夸张和外观风格：CariGeoGAN，仅模拟从面部照片到漫画的几何到几何的转换，以及CariStyGAN，它将样式外观从漫画转移到面部照片而没有任何几何变形。这样，一个困难的跨域翻译问题被分解为两个更容易的任务。经过研究表明，与最先进的方法相比，我们的CariGAN产生的漫画更接近手绘的漫画，同时更好地保持了身份。此外，我们的CariGAN允许用户控制形状夸张度并通过调整参数或给出示例漫画来改变颜色/纹理样式。

1简介

漫画可以被定义为通过素描，铅笔笔划或其他艺术绘画以简化或夸大的方式绘制人物（通常是面部）的艺术形式。作为传达幽默或讽刺的一种方式，漫画通常用于娱乐，作为礼品或纪念品，通常由街头小贩提供。艺术家具有从其他人那里捕获主题的独特面部特征的惊人能力，然后夸大这些特征。

已经有一些互动合成面部漫画的尝试[Akleman 1997; Akleman等。 2000;陈等人。 2002; Gooch等人。 2004]，但它需要专业技能才能产生富有表现力的结果。提出了一些自动系统，它们依赖于手工制作的规则[Brennan 2007; Koshimizu等。 1999;梁等人。 2002;莫等人。 2004]，通常来自艺术家的绘画程序。然而，这些方法仅限于特定的艺术风格，例如草图或某种卡通，以及预先设定的夸张模板。

近年来，深度学习作为从例子中学习的代表性技术（特别是来自大数据），已经成功地用于图像到图像的翻译[Hinton and Salakhutdinov 2006;黄等人。 2018; Isola等。 2017年; Kim等人。 2017年;刘等人。 2017年; Yi等人。 2017年;朱等人。 2017b。众所周知，世界上大多数照片和漫画的例子都是不成对的。因此，以自动编码器[Hinton和Salakhutdinov 2006]，Pix2Pix [Isola等人]的监督方式进行翻译可能是不可行的。 2017]，和其他