图片风格转换（附TensorFlow代码）

论文

A NeuralAlgorithm of Artistic Style. 2015 NIPS

---

思路

（1）网络结构解析

采用ImageNet数据集预训练一个VGG19网络出来，得到网络结构如下图：

 

其中紫色框中的5个layer代表图像风格层，绿色框代表内容层。

·  对于输入的风格图片，通过前向传播计算出5个风格层的特征图，元素平铺然后求内积(例如28*28平铺为784*1，再求内积变成784*784)，得到格拉姆矩阵(Gram matrix)。

·  对于输入的内容图片，通过前向传播计算内容层的特征图（tensor）。

 

训练开始之前，先通过随机的方式初始化一张合成图，然后进行迭代，每次迭代中都优化损失函数，使得合成图与5个格拉姆矩阵的差异性、与内容特征图的差异性最小。优化算法为Adam算法。具体而言，损失函数包括2部分：内容损失、风格损失。其中α和β用于控制内容与风格的权重，当内容权重为0时，得到的就是图片的纹理特征。

（2）内容损失函数

（3）风格损失函数