Superpixel Sampling Networks论文翻译

Superpixel Sampling Networks 超像素采样网络

摘要 超像素提供图像数据的有效低/中级表示，这极大地减少了后续视觉任务的图像基元的数量。 现有的超像素算法并不是不可靠的，因此很难将它们集成到其他端到端可训练的深度神经网络中。 我们开发了一种新的超像素采样差分模型，利用深度网络学习超像素分割。 由此产生的超像素采样网络（SSN）是端到端可训练的，它允许学习任务特定的超像素具有灵活的损失功能并具有快速运行时间。 广泛的实验分析表明，SSN不仅在传统的分割基准测试中胜过现有的超像素算法，而且还可以学习其他任务的超像素。 此外，SSN可以轻松集成到下游深度网络中，从而提高性能。

1介绍

超像素是通过基于低级图像属性对图像像素[33]进行分组而形成的图像的过分割。 它们提供图像内容的感知上有意义的细分，从而减少用于后续图像处理的图像基元的数量。 由于它们具有代表性和计算效率，超像素已经成为一种既定的低/中等级图像表示，并广泛应用于计算机视觉算法，如物体检测[35,42]，语义分割[15,34,13]，显着性 估计[18,30,43,46]，光学估计[20,28,37,41]，深度估计[6]，跟踪[44]等等。 超像素尤其广泛用于传统能量最小化框架中，其中少量图像基元极大地降低了优化复杂性。
近年来，对于广泛的计算机视觉问题采用深度学习的情况急剧增加。 除了一些方法（例如，[13,18,34]），超像素几乎不与现代深度网络结合使用。 这有两个主要原因。 首先，形成大多数深层结构基础的标准卷积运算通常定义在规则网格上，并且当在不规则超像素网格上操作时变得无效。 其次，现有的超像素算法是不可分解的，因此在深度网络中使用超像素在其他端到端可训练网络架构中引入了非可分解模块。
在这项工作中，我们通过提出一种新的用于超像素分割的深度可微算法来缓解第二个问题。我们首先回顾广泛使用的简单线性迭代聚类（SLIC）超像素算法[1]，并通过放宽SLIC中存在的最近邻约束将其转化为可扩展算法。这种新的可分辨算法允许端到端训练，并使我们能够利用强大的深度网络来学习超像素，而不是使用传统的手工制作的功能。这种深度网络与可靠的SLIC的组合构成了我们称为超像素采样网络（SSN）的端到端可训练超像素算法。图1显示了所提出的SSN的概述。给定的输入图像首先通过深度网络，在每个像素处产生特征。然后将这些深度特征传递到可差分SLIC上，该SLIC执行迭代聚类，产生所需的超像素。整个网络是端到端的可训练的。 SSN的可怜性质允许使用灵活的损失函数来学习任务特定的超像素。图1显示了一些样本SSN生成的超像素。
3个不同的分割基准数据集（包括BSDS500 [4]，Cityscapes [10]和PascalVOC [11]）的实验结果表明，所提出的超像素采样网络（SSN）对现有的显着超像素算法表现出色，同时也更快。 我们还通过简单地将我们的SSN框架集成到使用超像素的现有语义分割网络[13]中来证明，实现了性能改进。 此外，我们证明了SSN在学习其他视觉任务的超像素方面的灵活性。 具体而言，在Sintel光学数据集[7]的概念验证实验中，我们演示了如何学习更好地与光学边界而不是标准物体边界对齐的超像素。 与现有的超像素算法相比，所提出的SSN具有以下有利特性：
端到端可训练：SSN是端到端可训练的，可以轻松集成到其他深层网络架构中。 据我们所知，这是第一个端到端可训练的超像素算法。
{灵活和任务特定：SSN允许学习具有灵活的损失函数，从而学习任务特定的超像素。
{最先进的性能：对各种基准数据集的实验表明，SSN优于现有的超像素算法。
{有利的运行时间：SSN在运行时方面也对着名的超像素算法表现出色，使其能够在大型数据集上学习，并且对实际应用也有效。

2相关工作

超像素算法。 传统的超像素算法可以广泛地分为基于图形和基于聚类的方法。 基于图形的方法将超像素分割表示为图形分割问题，其中图形节点由像素表示，并且边缘表示相邻像素之间的连接强度。 通常，通过解决离散优化问题来执行图分区。 此类中一些广泛使用的算法包括标准化削减[33]，Felzenszwalb和Huttenlocher（FH）[12]，和熵率超像素（ERS）[26]。 由于离散优化涉及离散变量，优化目标通常是不可分的，因此难以在基于图的方法中利用深层网络。
另一方面，基于聚类的方法利用传统的聚类技术，例如用于超像素分割的k均值。此类中广泛使用的算法包括SLIC [1]，LSC [25]和Manifold-SLIC [27]。这些方法主要进行k均值聚类，但其特征表示不同。虽然SLIC [1]