《A Neural Algorithm of Artistic Style》论文解读

    发现工作还是比较偏向工程类，哪里需要你你就要调研哪里。最近由于风格迁移这一块调研性比较多，所以接下来会有一系列的风格迁移比较有代表性的论文解读，今天从始祖文《A Neural Algorithm of Artistic Style》开始。

    该文章是神经网络风格迁移的始祖文，主要用优化的方式，不断地迭代， 求全局最优解。

    其主要思想比较简单，把图片当做可以训练的变量，也就是我们需要对像素点进行迭代更新，通过优化图片来降低与内容图片的内容差异以及降低与风格图片的风格差异，迭代训练多次以后，生成的图片就会与内容图片的内容一致，同时也会与风格图片的风格一致。

内容损失

    其中 l 代表第 l 层的特征表示， p 是原始图片， x 是生成图片。 F 为生成图的特征图， P 为内容图的特征图。 公式的含义就是于每一层， 原始图片生成特征图和生成图片的特征图的一一对应做平方差。内容损失我们采用了 conv4_2 来计算。 

 

风格损失

    首先要引入 Gram 矩阵，可以表示不同通道间的特征关系，在这里用其来表示风格特征。

    F 是生成图片的特征图。上面式子的含义： Gram 第 i 行，第 j 列的数值等于把生成图在第 l 层的第 i 个特征图与第 j 个特征图分别拉成一维后相乘求和。 

    上面是风格损失函数， Nl 是指生成图的特征图数量， Ml 是图片宽乘高。 a是指风格图片， x 是指生成图片。 G 是生成图的 Gram 矩阵， A 是风格图的 Gram矩阵， wl 是权重。
    风格损失我们采用了 conv1_1， conv2_1， conv3_1， conv4_1 和 conv5_1 这 5层来计算。

总体损失