CVPR-Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

摘要

艺术风格迁移旨在将风格从示例图像迁移到内容图像。目前，基于优化的方法已经取得了很好的风格化质量，但昂贵的时间成本限制了它们的实际应用。同时，前馈方法仍然无法综合复杂的风格，尤其是在整体全局和局部样式存在的情况下。受绘制草稿和修改细节这一常见绘画过程的启发，我们提出了一种新的前馈方法——拉普拉斯金字塔网络（LapStyle）。LapStyle首先通过Drafting Network以低分辨率迁移全局风格样式。然后它通过一个Revision Network以高分辨率修正局部细节，Revision Network根据草稿和拉普拉斯滤波器提取的图像纹理产生残差图像。通过堆叠具有多个拉普拉斯金字塔级别的Revision Network，可以轻松生成更高分辨率的细节。通过聚合所有金字塔级别的输出获得最终的风格化图像。实验表明，我们的方法可以实时合成高质量的风格化图像，并能有效地迁移整体风格样式。

---

1. 介绍

艺术风格迁移是一种有吸引力的技术，可以利用内容图像的结构和示例风格图像的风格样式来创造艺术图像。它已经成为学术界和工业界普遍的研究课题。近年来，人们提出了许多神经风格迁移的方法，大致可分为两类：图像优化方法和模型优化方法。

图像优化方法是利用固定网络迭代优化风格化图像。Gatyset等人的开创性工作在迭代优化过程中实现风格迁移，其中风格样式是通过从预先训练的深度神经网络中提取的特征的相关性来捕获的。后续工作主要以不同损失函数的形式改进。虽然取得了优越的风格化结果，例如STROTSS，但这些方法的广泛应用仍然受到其在线优化过程缓慢的限制。相反，模型优化方法通过训练来更新神经网络，并在测试中进行前馈。主要有三种细分类型:
（1）Per-Style-Per-Model方法，被训练来合成具有单一特定风格的图像；
（2）Multi-Style-Per-Model方法，引入多种网络架构，同时处理多种风格；
（3）Arbitrary-Style-Per-Model方法，进一步采用多种特征修改机制来迁移任意风格。
回顾这些方法，我们发现虽然局部风格样式可以被迁移，但是混合了全局和局部风格的复杂样式仍然不能被正确地迁移。与此同时，很多情况下会出现伪影和瑕疵。为此，在本次工作中，我们的主要目标是通过前馈网络实现高质量的艺术风格迁移，在美学上保留局部和全局的样式。

人类画家在绘画时如何处理复杂的风格样式？一个常见的过程，特别是对于初学者来说，是先画一个草图捕捉整体结构，然后逐步修改局部细节，而不是直接一步一步完成最终的画。受此启发，我们提出了一种新的用于风格迁移的神经网络——拉普拉斯金字塔网络（LapStyle）。首先，在我们的框架中，Drafting Network被设计用于在低分辨率下迁移全局风格样式，因为我们观察到，由于更大的感受野和更少的局部细节，全局风格更容易在低分辨率下迁移。然后使用Revision Network根据草稿和拉普拉斯滤波在2倍分辨率的内容图像上提取的纹理，通过产生残差图像，在高分辨率下修改局部细节。注意，我们的Revision Network可以以金字塔的方式堆叠，以生成更高分辨率的细节。最终的风格化图像是通过聚合所有金字塔层的输出得到的。此外，我们采用浅色块判别器对局部风格样式进行对抗性学习。如图1所示，我们的“Drafting and Revison”过程取得了不错的风格化结果。

图1：说明我们提出的风格迁移过程。首先在低分辨率下迁移全局样式，然后在高分辨率下修改局部样式。为了更好地显示，我们将不同比例的风格化图像调整为相同的大小。

综上所述，主要贡献如下:

• 我们引入了一个新的框架“Drafting and Revison”，通过将风格迁移过程拆分为全局风格样式起草和局部风格样式修订来模拟绘画创作机制。
• 我们提出了一种新的前馈式迁移方法LapStyle。采用Drafting Network迁移低分辨率的全局风格样式，采用高分辨率Revision Network根据内容图像的多级拉普拉斯滤波输出，以金字塔方式修正局部风格样式。
• 实验证明，我们的方法可以生成高分辨率和高质量的风格化结果，其中全局和局部风格样式都是有效合成的。此外，本文提出的LapStyle具有极高的效率，能够在512分辨率下达到100fps的速度。

2. 相关工作

风格迁移

多尺度学习

详情阅读原文及参考文献

3. 方法

在本节中，我们将详细介绍所提出的前馈式传输网络LapStyle。为便于理解，在本节中，我们仅描述具有2级金字塔的框架。基础层是Drafting Network，Revision Network用于更高分辨率的第2层，如图2所示。我们可以直接通过堆叠Revision Network来构建更多级别。

图2：框架概述。 (a) 首先利用拉普拉斯滤波器从内容图像$x$_c生成图像金字塔{ $\bar{x}$_c, $r$_c}。 (b) Drafting Network生成粗糙的低分辨率风格化图像。 (c）然后Revision Network生成高分辨率的风格化细节图像。 (d) 对输出的金字塔进行聚合，生成最终的风格化图像。图像中的L、C和A分别代表拉普拉斯运算、连接操作和聚合操作。

3.1 网络结构

对于输入的内容图像$x$_c和风格图像$x$_s，分别提取其拉普拉斯金字塔{ $x$