【深度学习】A neural algorithm of artistic style算法详解

Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. “A neural algorithm of artistic style.” arXiv preprint arXiv:1508.06576 (2015).

下面这篇发表于CVPR16，内容类似，排版更便于阅读。

Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. “Image Style Transfer Using Convolutional Neural Networks.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

概述

本文介绍Leon Gatys在2016年初大热的Style Transfer算法。这一算法结果直观，理论简洁，广受人民群众喜爱，在github上有各种平台的源码实现：

• 基于Torch的Neural-Style
• 基于Tensorflow的Neural Art
• 基于Caffe的Style Transfer。

本文的核心思路如下：

• 使用现成的识别网络，提取图像不同层级的特征。
• 低层次响应描述图像的风格，高层次响应描述图像的内容。
• 使用梯度下降方法，可以调整输入响应，在特定层次获得特定的响应。
• 多次迭代之后，输入响应即为特定风格和内容的图像。

【辨】一般网络层有如下形式
$$x_{t+1}=f(W{x}_t+b)$$
网络的权重$W$，网络的响应$x_{t+1}$。

特别要强调的是，常见的深度学习问题利用输入-输出样本对训练网络的权重。这篇文章中，是利用已经训练好的权重，获取一个符合输出要求的输入。

复习：分类网络

直接使用VGG19¹分类网络（下图省略了末尾处做分类的几层）。和原始分类网络相比，本文仅将max pooling换成了average pooling，略微提升结果视效。

网络不同层次的响应描述了图像不同层次的信息：低层次描述小范围的边角、曲线，中层次描述方块、螺旋，高层次描述内容。

下文在提到“卷积层”时，实际指的是Conv+ReLU的复合体。用惯了Torch的同学尤其注意。

图像中的信息

使用分类网络中卷积层的响应来表达图像的风格和内容。

内容：响应

任取一张图像$X^0$，将其输入上述分类网络。其第$l$个卷积层的响应记为$X^l$，其尺寸是$H^l\times W^l\times N^l$。
对于目标图像$\overline{X^0}$，同样送入该网络，可以得到该层响应$\overline{X^l}$。

若希望$X^0$和 X 0 ‾ \overline{X^0}