论文Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
图像风格变换的任务是,把一种风格域S1的图像转换成另一种风格域S2的图像。风格变换的同时保存图像的内容不变。
GAN火起来之后,有一些用GAN做图像风格变换的应用,比如Cycle GAN/Dual GAN/Disco GAN。他们的一般结构是使用两对G与D的组合,以确保转换风格而不变换内容。结构略庞大了一些,训练不方便。
而要提到的这批论文,想法和实现都很简单,转换效果也是很不错的。
要解决的问题
ok,先吐槽一下其它style transfer方法的弊端
1. 模型复杂,训练难
2. 不能完成任意风格变换。比如,训练时使用两中风格S1,S2,那么该模型能做的也就是这两种风格间的变换。
3. 有一些方法,依靠浅层的特征,比如直方图统计,而不能抓住图像的语义信息。
作者主要受到了两点启发
1. 论文Image Style Transfer Using Convolutional Neural Networks,在特征空间操作风格的变换。
2. Batch Normalization,Instance Normalization