Neural Style论文笔记+源码解析

引言

前面在Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换中介绍了TensorFlow的配置过程，以及运用TensorFlow实现图像风格转换，主要是使用了文章A Neural Algorithm of Artistic Style中的方法，今天，我将主要对这篇文章进行解读，并对基于TensorFlow版本的Neural Style开源代码进行解析。
论文地址：A Neural Algorithm of Artistic Style
源码地址：Neural Style in TensorFlow

A Neural Algorithm of Artistic Style

任意一幅画，在人的眼中可以分为两个部分，一是画的具体内容（Content），如人物、山水、建筑等等，这是很实在的东西；二是绘画的风格（Style），这却是很抽象的东西，这和艺术家的手法、使用的绘画材料以及绘画习惯都有很大的关系。而在计算机中，这仅仅是一些像素点（pixel）而已。这篇文章的key finding是the representations of content and style in the Convolutional Neural Network are separable，即，我们不仅仅可以用深度学习来提取图像的特征，同时还可以将图像的Content和Style分隔开来。

上图即代表了这篇文章的整体框架。
这里的CNN模型使用的是pre-trained的VGG-16模型。
主要包含两个部分：
Content Reconstruction：将图像输入到CNN模型中，使用不同的layer提取到的feature maps来对输入图像进行reconstruct。上图中使用了VGG的‘conv1_1’(a), ‘conv2_1’(b), ‘conv3_1’(c), ‘conv4_1’(d) 和‘conv5_1’(e)的feature maps来重构原始图像。作者在文中说，使用低层的特征能够很好的对原始图像的像素值进行重构（a,b,c），而使用高层的特征来重构的时候detailed pixel出现了丢失，但是图像中的high-level content却保留了下来（d,e），因此认为高层的特征能够更好的对图像的content进行重构。
Style Reconstruction：Style 的重构比Content复杂的多，作者提出使用某一层不同filter的响应之间的correlations来代表该层提取到的texture information，然后来对Style进行重构。上图中使用了VGG的
‘conv1_1’(a), ‘conv1_1’+‘conv2_1’(b), ‘conv1_1’+‘conv2_1’ +‘conv3_1’(c),‘conv1_1’+‘conv2_1’+‘conv3_1’+‘conv4_1’(d), ‘conv1_1’+‘conv2_1’+‘conv3_1’+‘conv4_1’+‘conv5_1’(e)的texture information来进行重构。作者表示使用多层的feature correlations来重构的Style会在各个不同的尺度上更加匹配图像本身的style，忽略场景的全局信息。

基于以上，作者提出了本文的主要工作：finding an image that simultaneously matches the content representation of the photograph and the style representation of the artwork，即将一幅画的Style和另一幅话的Content进行融合，来证明作者的观点。

假设某一层得到的响应是$F^l\in R^{N^l*M^l}$,其中$N^l$为l层filter的个数，$M^l$为filter的大小。 F