Depth-aware Neural Style Transfer 图像风格转换

Depth-aware Neural Style Transfer

核心思想

  以往的神经风格迁移都是基于从预训练的神经网络中提取的高层特征。但是这些神经网络都是为目标检测设计的，这就会导致高层特征更注重主要特征而忽略其他细节。当输入图包含多个不同深度的对象时，输出图像的布局会被破坏，前景背景和不同对象的边界会模糊。深度图（depth map）可以很好的保存图像的空间布局，因此在变换后保存原内容图（content image）的深度图信息有助于保护图的语义。

  non-photorealistic rendering (NPR)(非真实性渲染)主要有两种方法：

1. image based NPR
2. 3D model based NPR

前一个有更广泛的应用性，但不太好解析图像的内容，会影响输出的质量。后一种可以直接得到深度布局和法向量，这有助于确定笔画的位置。这篇论文通过从2D图推断3D图来获得3D方法的优势。

  模型的结构如上图，系统包含三个部分，一个由$f_W$表示的图像转换网络，两个 ϕ 0 \phi_0