Visual Attribute Transfer through Deep Image Analogy论文阅读笔记

Visual Attribute Transfer through Deep Image Analogy论文阅读笔记

介绍

论文提出了一种新的两张图片直接进行视觉属性迁移的方法。该方法针对的是两张具有不同内容却有相似语义的图像，比如两张图的主体是同一种类别的物体，并利用高层抽象特征建立起了两张图的内容的语义对应关系。
这种图像视觉属性迁移方法可以在结构上基本保留两张图中内容图的内容及结构，同时融入参考图的视觉属性。和之前的算法不同的是，这种方法甚至适用于输入是真实照片，输出也希望是真实照片的任务，即可以达到像素级别的迁移。

核心贡献

提出了一种深度图像类比的方法deep image analogy

该方法在不同的图像领域（如style/texture transfer, color/style swap, sketch/painting to photo,and time lapse）的视觉属性迁移（visual attribute transfer）任务中均有不错的表现，此前的多数风格迁移方法多局限于特定领域。

把PatchMatch和reconstruction从图像领域扩展到了特征（feature）领域

这可以有效的指导语义级的视觉属性迁移

分析

关于算法实现的个人理解：
输入是两张图$A$和$B'$。
输出有两类：
映射关系：$A$和$B'$的像素位置映射关系。
图像：内容基于A同时风格上参考了$B'$的图$A'$，内容基于$B'$同时风格上参考了$A$的图$B$。

为了描述简单，下面只说得到$A'$的流程，得到$B$的流程是类似的。

$A$和$B'$通过VGG19提取特征后，顶层的卷积层会输出一个粗粒度的特征图$F^5$。因为A和 A