《Sementic Segmentation using Adversarial Networks，Pauline Luc》论文翻译

摘要之前

这是对这篇文章¹的翻译，由于每天的时间有限，翻译的量不多，仅供自已以后查看使用，如对大家有所帮助，深感荣幸！论文原文见此处

摘要

对抗训练已被证明是生成图像建模的最先进的方法。在本文中，我们提出了一种对抗训练方法来训练语义分割模型。我们训练了一个对抗网络和一个卷积语义分割网络用来判别分割图来自标注数据还是来自分割网络。我们提出这个方法的动机是使对抗训练能检测和修正标注分割图和分割网络产生的分割图的高阶不一致。我们的实验显示我们的对抗训练方法在Standford Background和PASCAL VOC 2012数据集上提高了准确率。

引言

语义分割是一个被表述为密集标记问题的视觉场景理解任务，该任务的目标是为输入图像的每个像素预测一个分类标签。在2009年Grangier等人和2013年Farabet等人利用CNNs完成这项任务的早期工作之后，目前最先进的方法依赖于卷积神经网络（CNN）方法。尽管CNN架构有很多差别，所有这些方法的一个共有的特征是所有的标签变量被相互独立的预测，至少在训练期间是这样的情况。因为独立预测模型不能明确的捕获空间连续性，各种各样的后处理方法探索着去加强输出标签图像的空间连续性。

条件马尔可夫随机场（CRFs）是加强输出标签图的空间连续性最有效的方法之一。上述的基于CNN的方法可以用来定义一元势函数。对于某些二元势函数，其在具有百万个变量的全连接CRFs中的平均场积分可以使用最近提出的基于滤波器的技术处理。这些全连接CRFs在恢复输出图的细节的实践中被证明极其高效。它也证明了二元势函数的丰富的类别能在本地全连接CRFs中使用CNN技术时被学习。

尽管取得了这些进展，但上述工作仅限于使用成对CRF模型。然而高阶势场也被证明有效，比如在超像素上以标签连续性为基础的鲁棒高阶条件。最近的工作显示了在以基于CNN的分割模型中高阶势场的具体类别如何被融合。当这些高阶势场的参数被学习时，它们被限制在数中。

我们的兴趣点在于加强没有被限制于高阶势场的一个非常明确的类的高阶一致性。与其试图直接融合CRF模型中的高阶势场，我们探索了一种基于对抗训练的方法，这个方法的灵感来自于GoodFellow的生成对抗网络(GAN)方法。最后，我们优化了一个目标函数，这个目标函数将传统的多层交叉熵与对抗模式相结合。对抗方法促使分割模型产生对抗二元模型不能把标注数据和标签图像区分开的标签图像。因为对抗模型能评估很多标签变量的联合配置，它能加强高阶一致性的形成。高阶一致性不能使用二元模式加强，也不能通过每个像素的交叉熵损失测量。

我们的工作的贡献如下：

1. 我们第一次提出了对语义分割进行对抗训练的应用，据我们所知；
2. 对抗训练方法加强了大范围空间标签邻接性，没有增加测试的时候模型的复杂性；
3. 在Stanford Background和PASCAL VOC 2012数据集上，我们的实验结果显示我们的方法提高了标签准确性。

在第二部分，我们讨论对抗训练的相关工作和最近的基于CNN的语义分割模型。在第三部分，我们提出了对抗训练方法和网络架构，第四部分我们给出了实验结果，以第五部分的讨论作为结束。

相关工作

对抗学习。Goodfellow等人提出了一个对抗方法以学习深度生成模型。他们的生成对抗网络(GANs)从固定分布 p_z(Z) 取样本 z，并通过确定可微深度网络 g(·) 来变换它们，以逼近训练样本 x 的分布。注意，由 g(·) 和 p_z(·) 引起的 x 上的分布 p_x(·) 是难以评估的，因为 z 上的积分跨越高度非线性的神经网络。对抗网络常常定义一个损失函数，这回避了明确评估和逼近 p_x(·) 的需要。对抗模型对区分来自真实数据分布的样本和来自深度生成模型的样本进行优化训练。

---

1. https://arxiv.org/pdf/1611.08408.pdf ↩︎