CrossNet: Latent Cross-Consistency for Unpaired Image Translation

简介

这次介绍的是一篇发表在WACV2020的一篇无监督图像转化的论文，不同于大多数Image Translation工作，这篇论文的主要工作是针对图像隐空间进行的。
先来看看效果图

网络结构

结构主要是VAE+GAN的一个两分支组合，两个分支对应两个domain的数据，这边的结构加了一个Cross Translate,这也就是这篇论文的核心所在。
作者提出目前的大多数图像转化工作主要是针对像素级进行约束，然而图片像素级别包含了许多无用的信息，作者研究发现，图片隐空间中抽样出的隐向量已经能够很好的提供图片重建的信息了，因此他们也是将工作重点放在了隐空间这部分。
Cross Translate中的Tb->a和Ta->b可以完成隐向量的转化

LOSS

作者设计了三部分loss

(a) Latent Cross-Identity Loss

从公式应该比较容易理解，E表示Encoder,D表示Decoder,T表示隐向量的Translate。
上图清晰的显示了整个流程，从Domain A对应的Ea->b隐空间中抽样出的隐向量Zb经过T的一个转化，转化为Za再送入Da中重建得到重建图像，再与原图做一个误差。（这段表述的有点绕，看公式+图比较容易理解）

(b) Latent Cross-Translation Consistency

这部分主要就是围绕隐向量一致性的一个loss，不多解释了

c) Latent Cycle-Consistency

这部分loss是对隐向量转化循环一致性的一个约束

总的loss就是三部分的一个加权和

不同loss组合的一个消融实验结果

实验结果