ap drawing 课件_升级版APDrawing，人脸照秒变线条肖像画，细节呈现惊人

ArtLine最简单的入门方法：

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb

艺术肖像线条画方面，去年清华大学曾提出一个层次化的GAN模型APDrawingGAN ，可以有效地基于人脸照片生成高质量、富有表现力的线条画。

APDrawing数据集主要由特写肖像组成，该模型难以对衣服、手等进行重新着色。因此，ArtLine结合使用了从Anime sketch着色对数据集中选择的图像，帮助模型更好地了解线条细节。

这是使用ArtLine即时创建的电影海报。

技术实现

自注意力的GNN

自注意力的GNN

ArtLine采用Self-Attention Generative Adversarial Network(简称SAGAN)生成器，该模型是经过预训练的UNET，具有频谱归一化和自我注意功能，可为图像生成任务提供注意力驱动的远程依赖关系建模。

传统的卷积GAN，根据低分辨率特征图中空间局部点的函数来生成高分辨率的细节。而在SAGAN中，可以使用来自所有要素位置的提示来生成细节。并且，鉴别器可以检查图像部分中的详细特征是否一致。

此外，据最近的研究表明，生成器调节会影响GAN的性能。为此，将频谱归一化应用于GAN生成器，以改善训练动态。

SAGAN实现了最先进的效果，在具有挑战性的ImageNet数据集上，将已发布的Inception分数从36.8提高到52.52，并将Frechet Inception距离从27.62降低到18.65。据注意层的可视化显示，生成器利用了与对象形状相对应的邻域，而不是固定形状的局部区域。

GAN逐步提高质量、稳定性和多样性

GAN逐步提高质量、稳定性和多样性

ArtLine使用生成对抗网络的新训练方法，关键思想是从低分辨率开始添加新层，逐渐增加生成器和鉴别器，以随着训练的进行对越来越细的细节建模。这既加快了训练速度，又极大地提高了生成图像的质量。

训练中，ArtLine采用一种用于评估图像质量和变化等GAN结果的新指标，并构建了CelebA数据集更高质量的版本。

生成器损失：基于VGG16的感知损失/特征损失。

生成器损失：基于VGG16的感知损失/特征损失。

进行高质量图像的转换时，通常使用输出图像与真实图像之间的每像素损失来训练前馈卷积神经网络。而研究表明，高质量图像也可通过从预训练网络提取高级特征，定义和优化感知损失函数来生成。

结合这两种方法的优势，ArtLine使用感知损失函数来训练用于图像转换任务的前馈网络。与基于优化的方法相比，ArtLine可给出相似质量的图像转换结果，但其生成速度快了三个数量级。对于单图像超分辨率的方法，实验表明将每像素损失替换为感知损失，视觉上会更令人愉悦。

目前，ArtLine在图像生成时也存在一些问题，如其生成器会将照片阴影与头发混淆；另外，对于低于500像素的低质量图像，ArtLine的图像转换效果不佳。

论文链接：

https://arxiv.org/abs/1805.08318

https://arxiv.org/abs/1710.10196

https://arxiv.org/pdf/1603.08155.pdf

论文链接：

https://arxiv.org/abs/1805.08318

https://arxiv.org/abs/1710.10196

https://arxiv.org/pdf/1603.08155.pdf