神经风格迁移综述论文分享(neural style transfer review)

本文是论文的“神经风格迁移模型综述”简要总结和一丢丢笔者自己的理解，该论文发表于《计算机工程与应用》

当前主流方法主要可分为以下几类方法：

• 基于图像迭代的慢速神经风格迁移 (速度很慢、要求source和target的形状要比较相似)
  • 基于统计参数（均值、方差和其他的高阶统计信息）的方法，包括Gram矩阵和MMD
  • 基于非统计参数的方法，包括马尔可夫随机场、语义风格迁移、深度图像类比
• 基于模型迭代的快速神经风格迁移（在速度上要比图像迭代方法快两个数量级, 但质量略逊）
  • 基于前馈风格化模型的方法，主要在模型架构上下功夫（残差块、分步卷积、多尺度Unet），instance normalization（conditional instance normalization和adaptive instance normalization）用的也比较多，还有几种方法(StyleBank、CoMatch等)笔者不太熟悉，后续会看一下，先把文章列出来：
    • Stylebank: An explicit representation for neural image style transfer, CVPR, 2017.
    • Diversified texture synthesis with feed-forward networks, CVPR, 2017.
    • Multi-style generative network for real-time transfer, ECCV, 2018.
    • Arbitrary style transfer with style-attentional networks，CVPR, 2019.
  • 基于 GAN 网络的风格迁移方法(生成领域的王者，生成质量很好，但训练起来很难，超级多的工程trick)
    发展历程：Goodfellow大神首次提出GAN的生成模型（开山之作）->CGAN->CycleGAN(经典之作，解决了pair数据难收集的问题)->UNIT(结合了GAN和另一个生成大哥VAE,适用于真实图像间的相互转换)->StarGAN(多领域转换)->CartoonGAN(开始整卡通了,加入了边缘对抗损失和内容损失,关注动漫场景)->SCGAN(关注点放在拍摄者面部)->ACL-GAN（与CycleGAN的区别在于，ACL-GAN不要求生成图像能够完全翻译回源图像，只需要保留源图像的重要信息即可，也即只需要在特征层面做约束）->CariGAN（关注卡通图像的几何形变）

参考文献

唐稔为，刘启和，谭浩，神经风格迁移模型综述，计算机工程与应用。