图像风格迁移来源论文《A Neural Algorithm of Artistic Style》读后总结

前言

这是一些对于论文《A Neural Algorithm of Artistic Style》的简单的读后总结，首先先奉上该文章的下载超链接：图像风格迁移

这篇文章是由 University of Tubingen, Germany的人员合作完成的，作者分别是Leon A. Gatys、Alexander S. Ecker和Matthias Bethge。其是图像风格迁移的来源文章，该文章使得计算机能将任意图片的风格迁移到其它图片上。

文章主要内容与贡献

该文章的贡献为：

1. 提出了图像风格迁移。

提出了图像风格迁移

下图是该文章的网络结构图：

其中，该图说明了越后面的卷积层提取的特征越高级，迁移的效果越好，越全面，而前面的卷积层太关注与像素级别的特征了。

下图则说明了该网络能将任意图片的风格迁移至其他图片：

每组图像的左下角的小图皆是艺术名画，由上可知，图像风格迁移的效果十分优异，特别是图c梵高的星空。

下图则说明了不同卷积层不同迁移比例下的最终图像的结果：

最顶上的一行文字为艺术图片和自然图片的比例，由上可知卷积层较深，比例为$10^{-2}$次方时的效果最佳。

损失函数

总体的损失函数公式如下：

其中α和β分别是内容和风格重构的权重因子。

内容图像的损失函数如下所示：

其中，$\vec{p}$和$\vec{x}$是原始图像和生成的图像，并且$P^l$和$F^l$在$l$层中各自的特征表示。

这个损失与层$l$中的激活有关的导数等于:

Gram矩阵$G^l\in R^{N_l\times N_l}$，其中，$G_{ij}^l$是$l$层中矢量化特征映射$i$和$j$之间的内积:

风格重构损失具体如下所示：

其中，$\vec{a}$和$\vec{x}$是原图像和生成的图像，以及$A^l$和$G^l$各自在层$l$中的样式表示。$w_l$是每一层对总损失的贡献的加权因子。$E_l$的导数与层$l$中的激活有关，可以解析地计算：