A Neural Algorithm of Artistic Style
最新论文,实时style转化,欢迎参考Perceptual Losses for Real-Time Style Transfer
想搞艺术装逼的瞧这里,我可以把照片转化成艺术照了。
+ =
这篇论文简单粗暴,纯应用方面的论文,就不进行各种蛋疼的introduction了,直接进入method。
一、Method
整体思路很简单,就是随机初始化一张图片x,如果能让它的值经过CNN之后任何filter的feature map的值跟另一张图片y相等,那么他肯定是跟另一张图片y相同。
作者基于上面的思路,重新生成的照片分成了2个部分,分别是content
和style
。content
反映的是原始图片的信息,style
反应的是艺术照片的信息。如果能让他们直接来一个trade-off是不是就能合成一个新的照片了呢?
二、Loss Function
作者将loss分成两个部分,也就是对应于输入的两张图片。
A.
Content
loss
这里是将feature map拉直了,所以F是为二维的矩阵,分别为第l成的filter个数,和filter对应的输出
Lcontent(p⃗ ,x⃗ ,l)=12∑i,j(Fli,j−Pli,j)2So let
p
andx
be the original image and the image that is generated andPl
andFl
their respective feature representation in layer l.它对应的偏导数为
∂Lcontent∂Fli,j={(Fl−Pl)0 if Fli,j>0 if Fli,j<0B.
Style
loss
作者使用Gram矩阵表示同一层中filter的相关性,关于Gram矩阵大家可以百度,简单理解就是向量的内积
Gli,j=∑kFli,kFlj,k
单层的loss为
El=14N2lM2l∑(Gli,j−Ali,j)2因为可能不止采用一层的loss,所以总的loss为各层的和, 其中参数w为人为指定,用来指定那一层的
style
更有用。
Lstyle(a⃗ ,x⃗ )=∑i=0LwlEl对应的激活函数的偏导数为
∂El∂Fli,j=⎧⎩⎨1N2lM2l((Fl)T(Gl−Al))0 if Fli,j>0 if Fli,j<0
C. 总loss
Ltotal(p⃗ ,a⃗ ,x⃗ )=αLcontent(p⃗ ,x⃗ ,l)+βLstyle(a⃗ ,x⃗ )
三、总结
这个论文没有太大的学术价值,但是确实很好玩,如果说非要弄成学术论文,作者的工作其实还有很多要做,比如为什么style
的loss要进行每层都指定啊,以及不同的艺术照片,α
,β
并不是一定的,这个比例能不能通过学习的方法学习出来……不过拿来玩足够了,最后有一点要强调的就是,这个所有的loss并不会修改模型的任何参数,所有的bp都是在修改随机初始化的那个图片,如下图。
最后给大家看一下还不错的转化,有没有很nice。
最后推广一下mxnet,下面是mxnet使用gpu进行训练的代码(如果不用gpu半个小时才能训练完成)
☛Github代码☚