略读了新发布的基于GAN方法的ReID工作,Unity Style Transfer for Person Re-Identification,该文章提出了统一风格适应方法(UnityStyle adaption method),用于ReID相机风格的迁移,对每个相机,产生形状稳定的样式统一图像。
模型
如上图,使用UnityGAN之后,原本和query图像风格不一样的gallery图片变成了和query一样相机风格的图片。
如上,直接对标CycleGAN,UnityGAN能够稳定产出无错误的,风格转换更好的图片,
生成器结构图如上,IN为Instance Normalization,文章基于IN和BN重新设计了ResBlock,并以此设计了UnityGAN。
如上图,CycleGAN每个样本都需要多次样式转移才能生成不同的样式样本,UnityGAN每个样本仅需要一次样式转换即可生成统一的样式样本。
如上图,在训练时,UnityGAN使用所有相机样式的图片进行训练,在生成中,UnityGAN为每个图像生成UnityStyle。
实验
试验在两个benchmark数据集上进行,可以在SOTA方法上再得到(一点点)提高。
如下图,从上到下依次为真实图像,由UnityGAN生成的不带注意力模块的图像,和UnityStyle图像。 使用注意力模块,模型可以生成样式稳定的图像。深色图像(红色框)在外观上得到了增强,并且UnityStyle生成的图像具有统一的样式和照明。
分离试验如下: