【每个人都是梵高】A Neural Algorithm of Artistic Style

本文转自：http://blog.csdn.net/elaine_bao/article/details/50502929

-----------------------

文章地址：A Neural Algorithm of Artistic Style 
代码：https://github.com/jcjohnson/neural-style

这篇文章我觉得可以起个浪漫的名字——每个人都是梵高。 
主要做的一件事情很有意思，就是如下图的等式，通过将a图的style和p图的content进行融合，得到第三幅图x。style+content=styled content 
 
怎么做呢？首先他定义了两个loss，分别表示最终生成的图x和style图a的样式上的loss，以及x和content图p的内容上的loss， α,β 是调节两者比例的参数。最终的loss function是两者的加和。通过optimize总的loss求得最终的x。 

Details

所用的CNN网络是VGG-16，利用了它16个卷积层和5个pooling层来生成feature。 
假设某一层得到的响应是 Fl∈RNl∗Ml ,其中 Nl 为l层filter的个数， Ml 为filter的大小。 Flij 表示的是第l层第i个filter在位置j的输出。

content loss

假设p和x在CNN中的响应分别为Pl和Fl，将他们内容上的loss表示成每个pixel的二范数： 
 
则用梯度下降法，content loss对F求导为： 

Style Loss

图x的style表示为 Gl∈RNl∗Nl ,其中 Glij=∑kFlik∗Fljk ,即CNN同一层不同filter响应的互相关，至于为什么互相关能够表示style，well，I don’t know…. 
那么每一层style loss为 
 
其中style图a的在CNN中的响应为A。 
则总的style loss为每一层的加权和： 

Total Loss

在定义好了两个loss的形式以后，又回到了最初的问题，就是最小化总的loss： 
 
要注意的是，不同于一般的CNN优化，这里优化的参数不再是网络的w和b，而是初始输入的一张噪声图片x 
 
最终我们想让他变成右图这样styled content。

Experiments

1. 对同一张content图片运用不同style的结果如下图所示,fantastic!! 
   

2. total loss中 α 和 β 的比例： 
   从上到下表示的是运用不同conv层的feature进行style，conv1->conv5是一个从整体到局部的过程； 
   从左到右表示的是不同的 α/β 的比例， 10−5 -> 10−2 是指更注重style还是更强调content。