【Paper翻译】A Neural Algorithm Artistic Style

---

时间：2016年11月9日
译者：王小草

---

卷积神经网络是深层神经网络中处理图像最强大的一个类别。卷积神经网络由一层层小的计算单元（神经元）组成，可以以前馈的方式分层地处理视觉上的信息（图1）。每一层中的计算单元（神经元）可以被理解为是对过滤图像信息的收集，也就是说，每一个神经元都会从输入的图像中抽取某个特征。因此，每层的输出是由所谓的feature map组成，它们是对输入的图像进行不同类型的过滤得到的。（也就是说每个神经元都会关注图像的某个特征）

当卷积神经网络被训练用于物体识别时，会生成一个图像的表征(representations) ，随着处理层级的上升，物体的信息越来越明确。因此，随着神经网络中的层级一级一级地被处理，输入的图像会被转换成一种表征，与图片的像素细节相比，这种表征会越来越关注图片的实际内容。通过对某一层的提取出来的feaure map的重塑，我们可以直接看到该层包含的图片信息。层级越高，那么获取的图像中物体内容就越高质量，并且没有确切的像素值的约束（层级越高，像素丢失越多）。相反，在低层级中重塑的话，其实像素丢失地很少。所以我们参考的是神经网络高层的特征，用它来作为图片内容的表征。（因为我们要得到更多内容，更少像素）–内容表征

为了获取输入图像的风格表征，我们用一个特征空间去捕获纹理的信息。这个特征空间建立在每层神经网络的过滤响应之上（也就是上面提到的feature map)。在feature map的空间范围上(也就是同一层上的feature map)，过滤响应各有不同（feature map关注的特征不同），而这个特征空间就是由这些差异构成。对每一层featute map两两求相关性，我们会获得一个静态的，多尺度的图像表征，它捕获了纹理的信息（但这纹理信息并非全局的）。–风格表征

译者总结：上面三段简而言之就是讲了三句话：
1.每个卷基层是有多个神经元组成，每个神经元输出的是一个feature map。
2.神经网络较高层输出的一组feature map是内容表征。
3.神经网络某一层输出的一组feature map，使他们两两求相关性，这个相关性就是风格表征。

图1：
卷积神经网络（CNN）
一张输入的图片，会在卷积神经网的各层以一系列过滤后的图像表示。随着层级的一层一层处理，过滤后的图片会通过向下取样的方式不断减小（比如通过池化层）。这使得每层神经网的神经元数量会原来越小。（也就是层越深，因为经过了池化层，单个feature map会越来越小，于是每层中的神经元数量也会越来越少）
内容重塑
在只知道该层的输出结果，通过重塑输入图像，我们可以看到CNN不同阶段的图像信息。我们在原始的VGG-Network上的5个层级:conv1_1,conv1_2,conv1_3,conv1_4,conv1_5上重塑了输入的图像。
输入的图像是上图中的一排房子，5个层级分别是a,b,c,d,e。
我们发现在较低层的图像重构（abc）非常完美；在较高层（