摘要:
Gatys等人最近引入了一种神经算法,以另一幅图像的样式呈现内容图像,实现所谓的样式转换。但是,工作需要缓慢的迭代优化过程,这限制了其实际应用。后来有人提出了一种基于前馈神经网络的快速逼近方法,以加快神经网络的传输速度。不幸的是,速度的提高需要付出代价:网络通常绑定到一组固定的样式,无法适应任意的新样式。在本文中,我们提出了一种简单而有效的方法,它首次实现了任意样式的实时传输。我们方法的核心是一个新颖的自适应实例规范化(AdaIN)层,它将内容特征的均值和方差与样式特征的均值和方差对齐。我们的方法实现了与现有最快方法相媲美的速度,而不受对预定义样式集的限制。此外,我们的方法允许用户进行灵活的控制,如内容折中,样式插值,颜色和空间控制等,所有这些都使用单一的前馈神经网络。
该论文在CIN的基础上做了一个改进,提出了AdaIN(自适应IN层)。顾名思义,就是自己根据风格图像调整缩放和平移参数,不在需要像CIN一样保存风格特征的均值和方差,而是在将风格图像经过卷积网络后计算出均值和方差。
BN(Batch Normalization)
- 归一化一批样例以一个单一风格为中心,但是每个样本仍然可能有自己的风格。
- 对一批样例进行计算每通道的均值和方差。
- BNlayers在训练和测试时采用的是不同的数据集,训练时是采用小批数据。
IN(Instance Normalization)
- 每个样例以及每个通道都独立计算均值、方差。
IN layers在训练以及测试时使用相同的数据统计。
- 归一化每个样例到一个单一的风格。
总的来说batch norm是对一个batch里所有的图片的所有像素求均值和标准差。而instance norm是对单个图片的所有像素求均值和标准差。
CIN(Conditional Instance Normalization)
条件实例归一化,A learned representation for artistic style论文中主要提到的方法。网络可以通过使用相同的卷积参数来生成完全不同风格的图像,而只需要对归一化