论文笔记：Cross Domain Adaptation for on-Road Object Detection Using Multimodal Structure-Consistent Imag

论文地址：https://ieeexplore.ieee.org/document/8803261

源码地址：尚未开源

---

1 Main Idea

基于GAN的方法尽管可视化的效果不错，但是当面临很大或很复杂的域漂移时，在保存图像-目标以及维持结构一致性上表现没有那么好，例如从白天到黑夜。在本文中，作者介绍了图像转换结构（image-translation-structure）以及循环结构一致性（cycle-structure consistency），以生成多种且结构不变的域间转换图像。作者提出一个多模态结构一致的图像转换网络，可以通过将每一张现有的训练图像从起始域转换到多种结果，从而给目标检测带来好处，每个结果都有不同程度目标域上的变换。

2 Proposed Framework

生成器基于一个服从于高斯分布N(0,1)的随机向量生成图像，目的是fool辨别器，并用实现分割子任务，保持图像转变过程中结构的一致性；然后，为了进一步降低可能的映射空间，作者认为映射应该具有循环结构一致性（cycle-structure consistent）。所以，已知转变后的，试图生成一个重组后的图像，其不能被辨别出来，但依然保留有结构上的信息，从而进一步的被分割，使得接近。因此，本文的模型根据图像在目标域上的结构学习多模态图像转换至目标域的方法。