A Content Transformation Block For Image Style Transfer
论文主要贡献:
1该论文明确地关注内容图像的内容感知和样式感知的样式化。
2而且提出了一个归一化层来提高风格化后分辨率。
首先该论文实验结果如下图,在特征空间中将风格图与内容相匹配的内容图放到一起。
在到下图所示,匹配后的图片风格转换后内容图细节保留的更好。
作者利用照片和样式样本中出现的类似内容来了解样式如何改变内容细节,证明可以,其实就是把相似内容图分类后再训练,作者发现效果更好。
分离内容和风格方法
利用低层特征进行纹理传递,高层信息利用神经网络表示内容
Content transformation Block
因为不同艺术家会有不同笔触风格。就意味着一个风格化图应该以一种艺术家特定风格而不是任意物体来做训练数据集。所以作者通过提取类似内容图像来加强这种能力,在潜在空间中相近的同时,保持不同内容图彼此分离。
如下图公式,是用GAN训练内容,Dc是内容分类的判别器。T是作者提出的一个用来转换Encoder的输出表示,也就是Content transformation block。c是艺术图片Y的内容类。
下图是两个交替训练步骤,第一个是用来获得风格同时保持输入图片的内容信息。第二个是用来训练内容转换块T。
Local Feature Normalization Layer
是该论文的另一个创新点,用来提高图片的分辨率。因为卷积网络转换图片域时会造成域的改变,或者分辨率变化。 原因是实例归一化层(Instance normalization)过于适合于图像统计,而该层无法推广到另一幅图像。所以该作者用强局部特征正则化层来改进。总公式如下图:
其中Bwsg是下图公式:是应用于张量T的局部特征归一化层的表达式。用这个求均值和偏差能简化计算。