生成模型--GAN用于图像风格迁移(Neural Style)

图像风格迁移(Neural Style)

  关于纹理生成与风格迁移领域，在 2015 年前所有的关于图像纹理的论文都是手动建模的。
  其中，纹理可以用图像局部特征的统计模型来描述。
  而图像风格迁移比纹理生成还惨。因为纹理生成至少不管生成什么样子的纹理都叫纹理生成，然而图像风格迁移这个领域当时连个合适的名字都没有，因为每个风格的算法都是各管各的，互相之间并没有太多的共同之处。比如油画风格迁移，里面用到了 7 种不同的步骤来描述和迁移油画的特征。又比如头像风格迁移里用到了三个步骤来把一种头像摄影风格迁移到另一种上。以上十个步骤里没一个重样的，可以看出图像风格处理的研究在 2015 年之前基本都是各自为战，捣鼓出来的算法也没引起什么注意。
  严格来说文理只是图片风格的一部分，但是不仔细研究纹理和风格之间的区别的话，乍一看给人感觉还真差不多。

deepdream的狗

  虽然我们不知道神经元是怎么工作的，但是如果我们知道了它的激活条件，会不会能对理解神经网络更有帮助呢？于是他们编了一个程序，（用的方法叫 back propagation，和训练神经网络的方法一样，只是倒过来生成图片。）把每个神经元所对应的能激活它的图片找了出来，之前的那幅特征提取示意图就是这么生成的。
  有人在这之上又进一步，觉得，诶既然我们能找到一个神经元的激活条件，那能不能把所有关于 “狗’的神经元找出来，让他们全部被激活，然后看看对于神经网络来说” 狗 “长什么样子的？
  长得其实是这样的：

  这是神经网络想象中最完美的狗的样子，非常迷幻，感觉都可以自成一派搞个艺术风格出来了。而能把任何图片稍作修改让神经网络产生那就是狗的幻觉的程序被称作 deep dream。

训练和一些trick

  通过梯度上升算法来激活特定的卷积网络。
  1）用 Instance Normalization来代替通常的Batch Normalization，可以改善风格迁移的质量。
  2）改进转置卷积的两个Trick：a.原先我们需要使用网络生成图像的时候，一般都是采用转置卷积直接对图像进行上采样。b.这篇文章指出了转置卷积的一些问题，认为转置卷积由于不合理的重合，使得生成的图片总是有“棋盘状的噪声点”，它提出使用先将图片放大，再做卷积的方式来代替转置卷积做上采样，可以提高生成图片的质量。