《深度学习原理与TensorFlow实践》学习笔记（四）

CNN应用之图像风格化实例

Image Style Transfer Using Convolutional Neural Networks (CVPRR16) [PDF]

如何量化风格

• 图像风格化：运用深度学习的方法将普通图片与艺术作品进行融合，使普通照片具有名画的画风
• 什么是画风呢？色彩？笔触？在CNN应用中则定义为可以捕捉的纹理
• 纹理提取：
  
  • 通过反卷积重建（风格重建和内容重建），可以查看VGGNet不同层次提取的纹理特征。
  • 风格重建：浅层（a、b、c层）纹理较细密，深层图案更完整（风格信息保留，内容信息丢失）。
  • 内容重建：浅层（a、b、c层）更接近原图，深层像素细节信息丢失，但保留了内容信息。
    @VGG网络在风格和内容量化提取中的作用
    

• 图像风格化目标：

  • 根据风格和内容的量化指标，合成图需要在内容维度上逼近照片，在风格维度上逼近绘画。
  • Gatys 等人利用预先训练好的 VGGNet 来提取图片中内容和风格的数值化特征，然后定义了一种特殊的损失函数来评估合成图片符合“风格”的程度，然后再使用 SGD 的方法不断修正合成图的各个像素以使损失值变小。

• 代价函数定义：

  • 由内容损失和风格损失构成：$L_{total}(\vec p, \vec a, \vec x) = \alpha L_{content}(\vec p, \vec x) + \beta L_{style}(\vec a, \vec x)$
  • 内容损失：VGG19 中 relu4_2 层输出的特征图中每个元素的差的平方和