这是对一个Neural Style Transfer project的总结,GitHub链接是:戳我
神经风格迁移是将一幅图片的内容和另一幅艺术图片的风格结合,生成一张艺术化的图片的过程。输入是一张内容图和一张风格图,输出是风格化的结果。
神经风格迁移的两大关键分别是风格表征和图像重建。
风格表征,顾名思义,就是用什么方法来提取风格、表示风格,如何建立模型(也叫纹理建模)。根据Yongcheng Jing et al. [1]总结,大体分两类:基于统计的参数化纹理建模和基于MRF(Markov Random Fields)的非参数化纹理建模。
图像重建则是用特定的特征来重建出一张图像,也可以主要依据重建速度分为两大类:基于在线图像优化的慢速图像重建方法和基于离线模型优化的快速图像重建方法。
根据风格表征和图像重建的方法不同,风格迁移大体可分为四类,具体我不对每一类进行介绍了,大家有兴趣可以移步这篇论文[1],或者阅读这篇文章的中文精简版。
我们这个project实现的方法属于Gatys et al.也就是风格迁移鼻祖的基于统计的参数化纹理建模以及在线图像优化的慢速方法,在这个基础上又增添了多种风格迁移、保留颜色迁移、以及引入拉普拉斯算子来提升风格化图像质量等方法。
这个算法的核心思想是建立在此之上的:先将图像经过预训练的VGG网络,提取feature map。对于输入的内容图片提取的特征和对于输出的结果图片提取的特征
来说,我们用上标