A Neural Algorithm of Artistic Style 论文理解

A Neural Algorithm of Artistic Style 论文理解

        卷积网络的每个卷积层重构图像：越高层重构出的图像布局一致，但具体像素值不准确，越低层的卷积层重构出来的图像的像素值越准确。在风格化这块需要大的布局一致，但是不需要精准像素，所以用高层的feature map表示content信息。

        输入图像的style信息表示是在卷积神经网络表示的上面重新构建了一个特征空间（gram）。在这个空间中对不同层都进行计算不同feature map的相关性。

        如下图所示：

        输入风格图片的风格信息重构：

        在普通的CNN的feature maps上面重新构建了一个feature space，用来表示图片的风格。论文采用的网络（vgg19）中，低层的style representations size 小，每个大层进行了缩放，style representation的feature map的宽高由CNN网络中对应层的filter是个数决定。从重构的结果可以看到，e的结果最好，‘conv1_1’ (a), ‘conv1_1’ and ‘conv2_1’ (b), ‘conv1_1’, ‘conv2_1’ and ‘conv3_1’ (c), ‘conv1_1’, ‘conv2_1’, ‘conv3_1’ and ‘conv4_1’ (d), ‘conv1_1’, ‘conv2_1’, ‘conv3_1’, ‘conv4_1’ and ‘conv5_1’ (e) 。style 的纹理越大，那么需要用来重构的style representation的大层就越多，且层数也要越高。

      风格视觉上效果更好：匹配风格表示一直到网络的最高层，获得的风格局部特征会不断增大，受众区域不断变大。

代码

torch：https://github.com/jcjohnson/neural-style

tensorflow：https://github.com/jing-neural/neural-style-1