learning selfie-friendly abstraction from artistic style images -- 自拍友好型的艺术照

文章脉络

由图说

• Figure 1，虽然目前的算法有良好的抽象风格，但是在人脸方面，会产生色彩的偏差和形状的变形
• Figure 2，本文算法的效果，保留原图的结构和色彩信息，本文的主要贡献
  1. 克服之前算法的两个缺陷
  2. 对风格抽象任务，提供了梯度域学习的可能性。首次将perceptual loss用于梯度域，从梯度图片进行色彩还原可以保持最初的肤色
  3. 对于视频的风格迁移任务，处理了视频闪烁的问题，证明了帧间的高度一致性，这能用于日常的视频流处理
• Figure3，对图片进行彩色域和梯度域的分析，放大梯度域尖峰（突出边缘），平滑梯度域谷地（平滑连续的色彩）
• Figure4，网络结构，
  1. 输入是梯度域的训练图和参考图，梯度图有助于消除边不正常的扭曲
  2. 七个带ReLU的卷积层，提取训练图和参考图的梯度域特征
  3. feature map在这七个层里面被下采样四次
  4. 随后使用sub-pixel模块来上采样回最初的大小
  5. 使用L_pixel来衡量输出以及参考图
  6. 使用VGG-16来计算输出和参考图的L_feat
• Figure5，使用L_feat与否的效果对比

-------- 3.6 Image Reconstruction

• 公式同L0 Smooth

-------- 4.1 Visual Quality Assessment

• Figure9，user study

-------- 4.2 Artifact Removal

• Figure8，网络结构中的Upsampling，
  1. 对于去除格子状artifacts的效果，sub-pixel相比较deconvolution的结果
  2. kernel size不能被stride整除

-------- 4.3 Style Generalization

• Figure6，应用于不同年龄，性别和种族的场景
• Figure7，应用于不是脸部的场景，如风景，动物等

-------- 4.4 Extension to Videos

• Figure10，帧间一致性