谈谈图像的style transfer（二）

总说

主要从几个方面来进行说明吧
- 加快transfer的速度
- 让transfer的效果看起来更加visual-pleasing
- 其他的一些方面
- 用GAN来做

加快style stransfer

谈谈图像的Style Transfer（一）
这里写了 Neural style以及fast neural style。
在超越fast style transfer—-任意风格图和内容图0.1秒出结果已经可以将转换做到实时。这篇的一个主要的问题是耗费的大部分时间是在提取隐藏层的patch上。
下面介绍的论文都秉承任意风格图一次前向直接出结果

A Learned representation for artistic style

这个在ICLR 2017发表的文章，核心思想：many styles probably share some degree of computation.就是说，虽然我们可以用fast neural style根据很多不同的style训练不同的模型，但是这些模型的所有卷积层的权值都是一样的！
看原文比较容易：
we found a very surprising fact about the role of normalization in style transfer networks:
to model a style, it is sufficient to specialize scaling and shifting parameters after normalization to each specific style.
In other words, all convolutional weights of a style transfer network can be shared across many styles,
and it is sufficient to tune parameters for an affine transformation after normalization for each style.。
他们把这个方法称为condition instance normalization。

$$z = \gamma_s\left( \frac{x-\mu}{\sigma}\right)+\beta_s$$
我们只要根据不同的style选择不同的参数 $\gamma_s$和 $\beta_s$就行。这样的话，一次前向，就能生成N幅不同style的图像。这种方法只能生成指定数量的预先训练的style，还不能说是任意的。

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

论文
这篇的话主要的思想是:加入了 adaptive instance normalization(AdaIN)层，主要是让生成图像特征与画的特征在 均值和方差上进行尽量相似。其实就是换了一种约束。原版的neural style是用二阶统计信息（协方差，用Gram矩阵）来进行匹配风格，但是也有用其他的，比如MRF loss（ombining markov random fields and convolutional neural networks for image synthesis.）， Adversarial loss(C. Li and M. Wand. Precomputed real-time texture synthesis with markovian generative adversarial networks. In ECCV,2016), 梯度直方图（P. Wilmot, E. Risser, and C. Barnes. Stable and controllable neural texture synthesis and style transfer using histogram losses. arXiv preprint arXiv:1701.08893 , 2017）， MMD损失（P. Wilmot, E. Risser, and C. Barnes. Stable and controllable neural texture synthesis and style transfer using histogram losses. arXiv preprint arXiv:1701.08893, 2017）等等吧。然后貌似均值和方差没有人用啊，所以他们就用了。
先说一下，Instance Normalization不同于不同的BN，它是每个例子的每个通道进行normalization的。

μnc(x)=1HW∑h=1H∑w=1Wx