论文阅读Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

起草和修订：拉普拉斯金字塔网络快速高质量艺术风格转移

作者：知乎
出处：cvpr2021
作者单位：百度视觉技术部视频理解与编辑组

这篇论文主要针对当前的前馈风格化网络对于复杂的风格纹理迁移不理想的问题，提出了一种基于拉普拉斯金字塔的风格化网络，在风格化速度和质量上均有很大的提升。

摘要

艺术风格转换的目的是将风格从样例图像迁移到内容图像。目前，基于优化的方法已经取得了很好的风格化质量，但昂贵的时间成本限制了它们的实际应用。同时，前馈方法仍然不能合成复杂的风格，特别是在整体、全局和局部模式存在的情况下。受一般画草图和修改细节的绘画过程的启发，我们引入了一种新的前馈方法–拉普拉斯金字塔网络(LapStyle)。LapStyle首先通过Drafting Network以低分辨率传输全局样式图案。然后通过Revision Network对局部细节进行高分辨率修正，该evision Network根据草稿和拉普拉斯滤波提取的图像纹理产生残差图像。通过堆叠具有多个拉普拉斯金字塔级别的修订网络，可以轻松生成更高分辨率的详细信息。通过聚合所有金字塔级别的输出来获得最终的风格化图像。实验表明，该方法能够实时合成高质量的风格化图像，整体风格模式得到了较好的传递。

code

艺术风格迁移是指将一张风格图中的颜色和纹理风格迁移到一张内容图上，同时保存内容图的结构。相关算法在艺术图像生成、滤镜等领域有广泛的应用。基于深度学习的风格化方法较传统方法有很大的提升，大致可以分类为基于优化的方法（无需训练，对于每张图需要通过优化的方法来生成结果）和基于前馈网络的方法（需要训练，预测时通过网络前馈生成结果）。目前基于前馈网络的风格化算法存在纹理迁移不干净、大尺度复杂纹理无法迁移等缺点；而目前基于优化的风格化方法虽然质量较高，但速度很慢。

因此本文提出了一种能够生成高质量风格化图的快速前馈风格化网络——拉普拉斯金字塔风格化网络（LapStyle)，
其核心思想是在低分辨率下迁移复杂纹理，再在高分辨率下对纹理的细节进行修正。如头图所示，我们的方法能渐进地生成复杂的纹理迁移效果，同时能够在512分辨率下达到100fps的速度。为了追求更好的风格化效果，我们也牺牲了一部分灵活性，LapStyle 是一个单风格网络，目前不支持任意风格化。

1、介绍（仅仅翻译）

艺术风格转换是一种很有吸引力的技术，它可以用内容图像的结构和范例风格图像的风格模式来创建艺术图像。它已经成为学术界和产业界的热门研究课题。近年来，提出了很多神经风格转换的方法，大致可以分为两类：图像优化方法和模型优化方法。

图像优化方法利用固定网络迭代优化风格化图像。盖蒂斯等人的开创性工作。
[8]在迭代优化过程中实现样式转