ReID基础 | 基于GAN的方法

1. 可解决的问题

• 数据不够用。政府限制监控数据的采集、人工标注采集数据价格昂贵、缺乏一些极难的极端样本。
• 数据有偏差。姿态与姿态之间存在偏差、相机与相机之间存在偏差、地域和地域之间存在偏差。

2. GAN&CycleGAN

（1）GAN（Generative adversarial networks）包含一个生成器一个判别器。

• 生成器：随机输入一个噪声变量，生成器会随即生成一个样本。
• 判别器：判断生成样本是否真实。
• 生成器和判别器相互博弈；随着对抗的过程中，生成器生成的样本会越来越逼真，判别器的判别能力也越来越厉害，直到最后生成器会生成一些逼真的判别器也分不出来的样本。
• 当网络训练好之后，判别器一般就不使用了，只使用生成器产生一些逼真的样本。

（2）CycleGAN比GAN更优秀一些。

是一个循环的GAN，可以A域转到B域，也可以B域转到A域。

小例子，斑马转化为野马：

• 两个生成器GAB、GBA，一个判别器DB
• 判别损失和生成损失

（3）常用的GAN方法

• GAN：无法控制，随机生成样本图像
• CGAN：可以给GAN进行条件约束生成图像
• Pix2pix：可以将A域和B域的成对图像（例如同一物品的两种风格）进行转换
• CycleGAN：可以将A域和B域的任意图像进行转换

3. 基于GAN的行人重识别

代表算法：GAN、CamStyle(CycleGAN)、PTGAN、SPGAN、PNGAN

（1）GAN+LSRO

利用GAN网络随机生成行人图片，利用LSRO技术平滑ID标签，训练交叉熵损失。

（2）CamStyle

利用CycleGAN来实现两个相机之间的风格转换。

原始样本计算ID损失，生成样本利用平滑标签计算交叉熵损失。

（3）PTGAN

解决不同场景下采集数据存在明显的偏差问题。

解决：

• 利用PSPNet分割行人前景mask
• 利用CycleGAN的思想进行图像风格转换
• 计算mask区域生成损失，保持行人前景尽可能不变
• 联合风格损失与生成损失

（4）SPGAN

利用source domain的数据生成target domain

（5）PNGAN

利用GAN来生成固定姿态样本。

训练的方法：

• 使用行人原图和目标姿态，利用GAN生成目标姿态的样本
• 原图和生成图分别进入两个不同的网络
• 融合图原图和生成图的特征作为最终特征，融合方式采用maxpooling

测试的时候：原图根据8个标注姿态，映射后的8个图像数据和原图，一共9个特征，融合。

（6）总结