Cycle-VAE-GAN《Camera Style Adaptation for Person Re-identification》替换CycleGAN中生成器为VAE

      对Cycle-GAN网络结构的修改，将原论文结构（下图）中的的ResnetGenerator（图中的GeneratorA2B和GeneratorB2A）替换成VAEGenerator，构建了Cycle-VAE-GAN的新结构来进行相机风格间的转换。

code：https://github.com/xr-Yang/CycleGAN-VAE-for-reid

   对新结构进行了一定的实验测试，具体实验过程和测试过程如下。

•    实验过程：

    1.利用Cycle-VAE-GAN训练market1501数据集下各相机风格的一个转换模型。

    2.生成各相机间风格转换的图像。

•    测试过程：

    1.定性分析：直观的对比两种方法生成图像的质量和清晰度。

    2.定量分析：（1）通过FID（Frechet Inception Distance）和SSIM(Structural SIMilarity)两个公认的评价GAN网络生成图像质量的指标，对比测试Cycle-VAE-GAN和Cyle-GAN生成图像的质量。（2）通过原论文的训练方式加入Cycle-VAE-GAN生成的图像，对比ReID模型的mAP和rank-1

•   实验结果

  1.定性的比较两种方法生成图像的质量和清晰度

             Cycle-VAE-GAN：                                                      Cycle-GAN：
                          
   选取ID2同一张照片从cam1->cam2的风格转换图，从对比图像中直观来看，Cycle-VAE-GAN较cycle-GAN生成的图像更为清晰（如左上角的房间对比，人体的轮廓），生成器的能力更为出色，对图像中结构的恢复更好。

 

2.定量对比。从模型训练的时间，生成图像的质量FID和SSIM得分，以及在原论文的baseline下的精度等三方面进行一个定量的对比：

        (注：FID——(lower is better)，SSIM——(higher is better))

   从定量实验的对比结果，可得如下结论：

  1.Cycle-VAE-GAN的训练耗时更少。将原始论文中的ResnetGenerator替换为VAE encoder，极大的缩减了卷积层的数量，提高了训练时间。

  2.无论直观感受还是FID，SSIM等图像质量指标均能体现，Cycle-VAE-GAN具有更好的图像生成能力。

  3.与原论文相比，在其baseline上精度更好，mAP和Rank-1均有提升。

 

欢迎大家讨论。