Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro

创新点

本文的主要贡献是一个简单的半监督管道，它只使用原始训练集而不收集额外的数据。它的挑战在于： 1)如何只从训练集中获取更多的训练数据；2)如何使用新生成的数据。在本工作中，生成对抗性网络(GAN)用于生成未标记的样本。同时提出离群值的标签平滑正则化（LSRO)。 此方法为未标记的图像分配均匀的标签分布，从而规范了受监督的模型并改善了基线。

具体

论文中提出的pipeline如上，由基础数据集Market-1501借助GAN来生成数据集。对于生成数据，作者采用了一种不同的正则化（label smoothing regularization for outliers (LSRO)）方法，将均匀的标签分布分配给生成的样本,如下是真实图片和生成图片的标签分布。

LSR

平常用于计算分类的cross-entropy loss:
$$l=-\sum _{k=1}^{K}log(p(k))q(k)\text{\hspace{1em}(1)}$$
其中，K是数据集中总类别数，k是当前数据所属类别， $p(k)$是模型的预测概率，而$q(k)$是真实分布，让y作为数据所属的类别标签，所以$q(k)$有：
$$q(k)=\{\begin{array}{rlr}0,& & k\ne y\\ 1,& & k=y\end{array}\text{\hspace{1em}(2)}$$
丢掉零项，那么交叉熵就相当于仅考虑所属类别中的计算：
$$l=-log(p(y))\text{\hspace{1em}(3)}$$
最小化交叉熵损失等效于最大其所属类别的预测概率。

在这种情况下引入标签平滑正则化（Label Smooth Regularization）,引入目的是来考虑非所属正确类的分布，鼓励网络不要对真正所属类别（ground-truth class）过于自信，从而有利于减少过度拟合。其标签分布$q_{LSR}(k)$被定义为：

其中，$\epsilon \in [0,1]$是一个超参数，如果值为0，则等同于Eq.(2)

通过和Eq.3比较，Eq.5额外关注其他类别，而不是仅仅所属的正确类。作者受此启发，设计LSRO方法.

LSRO

The label smoothing regularization for outliers(对于离群值的标签平滑正则化)是根据LSR设计应用于由GAN生成数据的无监督领域。
在LSRO中，对于生成的无标签数据，提出一个虚拟标签分布，在所有类别上统一。源自两个启发：（1）假定生成的数据不属于任一个预定义的类（2）LSR对所有类假定一个统一分布来处理过拟合。

所以，对于生成的图片，它的类标签分布$q_{LSRO}(k)$定义为：
$$q_{LSRO}(k)=\frac{1}{K}\text{\hspace{1em}(6)}$$
Eq.6 称为LSRO。
这个时候，结合Eq.2和Eq.6可以重新书写cross-entropy loss:

对于真实的图片，Z=0,生成的图片Z=1,所以这个系统有两种损失计算，一个针对真实数据，一个针对生成数据。

作者通过实验证明有效，并且可以用于细粒度识别。