论文：Reg-GAN (ICASSP 2018)

半监督回归生成对抗神经网络用于自动驾驶的端到端学习

AD（AUTONOMOUS DRIVING）中端到端任务的目标是 基于来自前置摄像头的给定输入图像，预测转向角，它是一个连续变量。

挑战和贡献

挑战

1. 将半监督分类技术应用于回归会带来将数据集的连续标签转换为有限数量的类的代价。这种转换将把量化错误添加到我们的训练中，并且确定类的数量是重要的。
2. 此外，与回归技术相比，分类技术通常需要更多的输出和更多的网络参数，从而导致更多的计算和更长的训练时间，即会增加培训成本。

贡献
开发一种具有生成对抗网络的半监督回归技术：

1. 我们第一个引入了带有生成对抗网络的半监督算法，该算法可以解决回归问题。在本文中，我们将我们的方法称为Reg-GAN。此外，这是首次将GAN的半监督学习用于自动驾驶的端到端任务；
2. 将数据集的连续标签转换为有限数量的类的代价是巨大的：将使量化误差增加。我们提出的方法避免了这种量化误差并减少了一个超参数；
3. 与最新的改进GAN技术相比，我们的方法可以生成高质量的图像，较小的标签预测误差和更稳定的训练。

相关工作

在半监督学习中使用深度生成模型（最近有生成式对抗网络）已对该领域进行了重大改进（Kingma等，2014; Salimans等，2016; Odena，2016; Nguyen等，2016; Springenberg，2015） ； Tachibana等人，2016； Denton等人，2016； Rasmus等人，2015； Liet等人，2017）。例如，Improved-GAN技术在MNIST，CIFAR-10，SVHN和ImageNet数据集上显示出竞争性测试错误competitive test errors和高质量样本。与Improved-GAN相比，Triple-GAN（Li等，2017）采用了两个单独的网络进行分类和区分，需要学习更多的参数，训练网络会更加困难，但是，几乎所有这些技术都针对分类问题，如果要将其应用于回归问题，则需要将连续标签分类（或量化）为有限数量的类。另一方面，文献中有几种半监督回归方法（Zhou＆Li，2005; Yang et al，2016），但它们没有利用基于深度学习的生成模型（如GAN）的强大功能。

生成对抗网络

生成器采用分布为$P_z(z)$的随机变量$z$并将其映射到数据分布$P_{data}(x)$。在训练期间，生成器的输出分布应收敛到数据分布。另一方面，期望鉴别器通过分别给出输出1或0来从生成的样本中区分出真实样本。在GAN训练过程中，生成器和鉴别器用于生成样本并将它们通过对抗性地提高彼此的性能分别进行分类。
Improved-GAN修改了鉴别器的架构，使其具有N + 1个输出，其中N代表训练数据集中的类数（请参见图1）。前N个输出应预测输入属于每个类别的概率$p(y|x,y<N+1)$;最后的输出表示样本被伪造的概率$(y=N+1|x)$。然后，经过改进的GAN尝试最大程度地在真实数据和生成的数据上预测正确标签的可能性，如下所示


此外，Improved-GAN使用特征匹配技术来解决生成器的不稳定性问题。与传统的GAN技术试图使生成的样本的鉴别器输出最大化相比，特征匹配尝试使鉴别器内部的生成样本和真实样本的统计信息之间的匹配最大化：
其中$f(x)$表示鉴别器中间层的激活函数的输出

算法

这项研究的重点是基于生成对抗网络的半监督学习，以解决回归问题。我们打算将GAN应用于生成逼真的高质量样本，并预测与这些样本对应的连续标签。我们工作的核心思想受到Improved-GAN技术的启发（Salimans et al，2016），并且我们尝试扩展Improved-GAN，使其也能够涵盖回归。

我们提出的方法Reg-GAN由生成器和鉴别器组成，该生成器负责生成接近训练数据集内容的真实样本，鉴别器既验证生成的样本又预测这些样本的连续标签。通过使用上一节中介绍的特征匹配损失技术来训练生成器。值得一提的是，特征匹配损失是真实样本和生成样本的鉴别器中间层输出之间绝对差的平均值。

我们为GAN中的鉴别器提出了两种架构（见图2和3），以解决生成对抗网络的半监督回归。在第一种方法中，鉴别器具有两个输出：一个负责预测标签，另一个负责预测生成的样本为真实/伪造的概率。如果我们假设标签可以被映射（或归一化）到be mapped (or normalized) to [0,1]的范围，则可以在鉴别器网络的最后一层使用sigmoid 非线性。通过使用通常的无监督GAN损失函数和有监督的回归损失的组合来训练鉴别器。
其中$z$表示从均匀或正态分布中提取的噪声。 $x$和$G(z)$分别描述真实图像和生成图像。$y$指真实值，而 $\hat{y}$ 表示预测。值得一提的是，我们在方程的无监督部分采用了最小二乘损失函数（Mao et al，2016）。另外，监督的回归误差（即，预测标签与真实标签之间的差异）被添加到鉴别器损失函数，这有助于为看不见或生成的样本生成标签。所提出方法的框图如图2所示。

在第二种方法中（图3），我们没有在鉴别器中提供两个输出，而是仅保留了深度卷积神经网络的回归输出来预测标签。然后我们将预测提供给另一个函数，根据之前的卷积神经网络的预测，为生成的样本分配一个索引。换句话说，我们可以使用一个单独的核函数来判断预测的标签是否真实(Eq. 5)，而不是直接通过网络来区分真实和生成的样本。核函数负责为每个输入label分配一个索引。如果预测标签在真实标签的归一化范围内（即介于0和1之间），则分配索引为1，否则，将根据预测值与真实标签的目标范围的距离以指数形式分配小于1的数字。算法1中简要描述了所提出方法的训练过程。

实验

从 回归预测误差 ，生成的样本的质量 和 训练的稳定性 方面进行实验。实验的主要目的是表明，即使在数据有限的情况下，我们提出的体系结构也能够学习数据生成和标签预测，并且其中只有少量样本被标记。

数据集

可公开获得的驾驶数据集(https://drive.google.com/file/d/0B-KJCaaF7elleG1RbzVPZWV4Tlk/view)。数据集包含从安装在汽车上的前置摄像头拍摄的图像，并以其相应的转向角作为标签。我们从数据集中随机选择7200个样本进行训练，并选择9000个样本进行测试。当可用样本数和标记样本数很少时，我们旨在评估我们的技术。因此，我们没有将测试集中的更多样本合并到我们的训练数据中。样品的标签在[-2.79，8.75]范围内，并以线性方式进一步归一化为[0，1] 范围。我们使用测试集上的平均归一化预测误差来计算测试误差

其中N是测试样本的数量，ymin和ymax代表地面标签的最小值和最大值（分别为0和1）。

训练配置

我们使用可用的“Improved-GAN”代码（以“ Theano” python库和“ Lasagne”深度学习库编写）作为实现我们建议方法的基准。我们进行了800次迭代的实验，我们的方法的学习率为α= 0.0005，原始Improved-GAN的学习率为0.0003（Salimans等，2016）。实验在单个NVIDIA Tesla P100 GPU上运行。

实验结果

为了训练我们提出的架构，我们在半监督学习环境中使用了具有不同数量的标记样本的不同场景。我们通过考虑1000、2000、4000和“全部(7200)”标记的样本来进行训练。此外，对于每种情况，我们还将 没有标签的所有训练集 作为 未标记的样本 提供给算法。我们将我们提出的架构与最新的Improved-GAN半监督学习方法进行了比较（Salimans等，2016）。选择此方法要优于其他类似技术，因为它的性能优于其他方法。为了使我们的数据集适合“Improved-GAN”分类框架，我们将归一化的连续标签离散化为10个类别（我们将标签分配在[0，0.1）→0 和 [0.1 0.2）→1 …… [0.9, 1]→9范围内）。请记住，这种离散化会给我们的训练增加一些不可避免的量化误差。
表1列出了实验结果。从表1可以看出，我们提出的体系结构在所有情况下均明显优于Improved-GAN方法。我们的方法Reg-GAN分别比架构1和2的传统Improved-GAN方法分别提高了42.7％和29.7％。从不同技术生成的样本的示例如图4所示。这些样本是在训练了1000多个样本的网络之后得出的。
此外，为了评估方法的训练稳定性，我们在图5中绘制训练和测试误差。给出了400次迭代（而不是800次）的图，以便能够更清晰地跟踪每个图的变化。图5显示，在训练Improved-GAN时会出现一些尖峰，这会影响训练的稳定性。另一方面，我们可以注意到，我们提出的方法（见图5-（a）和（b））比最初的Improved-GAN表现得更加稳定和流畅。

结论

这项工作通过合并生成对抗网络来解决半监督回归任务。使用GAN的常规半监督学习适用于分类任务，该任务将它们用于将连续标签转换为有限数量的类的回归任务。这种转换将量化误差添加到训练中，并且还确定了分类数是重要的。这项工作提出了使用GAN的半监督回归任务，该任务克服了使用半监督分类技术解决回归任务时出现的上述问题。我们在一个公开的驾驶数据集上进行了实验，其中连续转向角被用作带有相应图像的标签。我们证明了我们提出的方法优于文献中最新的改进型GAN技术。我们在以下总结了我们的未来工作计划：

1. 通过分配回归标签输出以预测类标签，可以将这项工作的思想扩展到涵盖分类问题。但是，此方法在分类问题上的性能需要研究。
2. 半监督回归的想法可能还有其他应用，例如面部检测和从单个图像进行明显年龄估计。我们的方法也可以在这些应用程序上进行评估