SSN（Superpixel Sampling Network）

1.简介

目前超像素难以和深度学习相结合主要由两个原因：

• 标准卷积运算是在规则网格上定义的，而超像素的形状是不规则的，难以在其上进行卷积运算。
• 超像素的聚类操作具有不可微分的计算，使得无法使用反向传播进行深度学习（难集成到其他端到端可训练的深度神经网络）。

超像素采样网络(SSN)是端到端可训练的。解决第二个问题。

---

        我们开发了一种新的超像素采样可微模型，利用深度网络学习超像素分割。所得到的超像素采样网络(SSN)是端到端可训练的，允许学习任务特定的超像素，具有灵活的损失函数和快速的运行时间。

        我们首先回顾了SLIC超像素算法，并通过放放宽SLIC中存在的最近邻约束，将其转化为可微算法。这种新的可微算法允许端到端训练，并使我们能够利用强大的深度网络学习超像素，而不是使用传统的手工制作的特征。这种深度网络与可微SLIC的结合形成了我们的端到端可训练的超像素算法，我们称之为超像素采样网络(SSN)。

---

SSN的概述

        给定的输入图像首先被传递到一个深度网络中，网络在每个像素处提取特征，然后网络这些深层特征传递到可微SLIC上，可微SLIC执行迭代聚类，然后使用这些特征来生成所需的超像素。整个网络是端到端可训练的。SSN的可微特性允许使用灵活的损失函数来学习特定任务的超像素。这里显示了两个例子，SSN生成的超像素用于语义分割和光流。

 在BSDS500、Cityscapes和PascalVOC三种不同的分割基准数据集上的实验结果表明，所提出的超像素采样网络(SSN)与现有的著名超像素算法相比，具有更好的性能，而且速度更快。我们还证明，通过简单地将SSN框架集成到现有的使用超像素的语义分割网络中，可以实现性能的改进。

---

SSN的优点

①可端到端训练：SSN是端到端可训练的，可以很容易地集成到其他深度网络架构中。据我们所知，这是第一个端到端可训练的超像素算法。
②灵活的和特定于任务：SSN允许使用灵活的损失函数进行学习，从而学习特定于任务的超像素。
③最先进的性能：在广泛的基准数据集上的实验表明，SSN优于现有的超像素算法。
④优异的运行时间：SSN在运行时间方面也优于著名的超像素算法，使它能够在大型数据集上学习，并对实际应用有效。

---

2.相关工作

2.1 传统超像素算法和深度网络的结合

传统的超像素算法可分为基于图的算法和基于聚类的算法。

基于图的方法：将超像素分割问题描述为图的分割问题，图节点由像素表示，边缘表示相邻像素之间的连通性强度。通常，图的划分是通过求解离散优化问题来实现的。在这类算法中广泛使用的算法包括归一化剪切、Felzenszwalb和Huttenlocher (FH)以及熵率超像素（ERS）。由于离散优化涉及离散变量，优化目标通常是不可微的，因此很难结合基于图的方法和深度网络。

基于聚类的方法利用传统的聚类技术(如k-means)进行超像素分割。这类算法中广泛使用的算法有SLIC、LSC和流形SLIC。这些方法主要进行k均值聚类，但在特征表示上存在差异。SLIC将每个像素表示为一个5维位置和Lab颜色特征(XY Lab特征)，而LSC方法将这些5维特征投射到一个10维空间中，并在投影空间中执行聚类。
        另一方面，流形SLIC使用二维流形特征空间进行超像素聚类。虽然这些聚类算法需要迭代更新，但在SNIC方法中提出了一种用于超像素分割的非迭代聚类方案，该方法也是一种基于聚类的方法。然而，与现有技术不同，我们利用深度网络通过端到端训练框架学习超像素集群的特性。

        最近的SEAL技术提出了一种通过不可微超像素算法绕过梯度来学习超像素分割的深层特征的方法。与我们的SSN框架不同，SEAL不是端到端可微的。

        端到端指的是输入是原始数据，输出是最后的结果

        非端到端呢，就是输入不是直接的原始数据，而是在原始数据中提取的特征。因为图像像素数太多，数据维度高，会产生维度灾难，所以原来一个思路是手工提取图像的一些关键特征。

2.2 深度聚类

有几种方法，使用深度网络进行无监督数据聚类。但是不同于以往的工作，我们的算法是为使用图像特定约束的超像素分割任务量身定制的。此外，我们的框架可以很容易地结合其他视觉目标函数学习任务特定的超像素表示。

3.基础知识

3.1 SLIC算法简介

SLIC是一种对图像像素在五维位置和颜色空间(通常缩放为XY Lab空间)上执行的k-means聚类。在形式上，给定一幅图像，有n 个像素，每个像素有5维特征，超像素计算的任务是将每个像素分配给m个超像素中的一个，即计算像素-超像素关联:

SLIC算法如下：

首先在5维空间中采样（均匀地跨越像素网格进行地）超像素中心，然后基于梯度做一些局部变动。然后迭代地进行以下两个步骤：

1.像素-超像素关联：将像素分配到5维空间中最近地超像素中心。即，分配每个像素以一个新的超像素。其中 Si 代表第i个超像素元素的聚类中心，Ip 代表第 P 个像素点，Hp 代表第 P 个像素点所属的超像素元素，Zi 代表第i个超像素元素中所包含的像素数量。上标 t 代表第 t 次迭代

2.超像素中心更新：每个超像素关联的所有像素的5维特征取平均得到新的超像素聚类中心。

这两个步骤构成了SLIC算法的核心，并不断重复，直到收敛或进行固定次数的迭代。计算步骤1中所有像素与超像素之间地距离D非常耗时，所以限制了搜索范围。

---

4.超像素采样网络

SSN=生成像素特征的深度网络+可微SLIC

4.1可微SLIC

不可微是因为像素-超像素关联地计算引起的。它涉及到不可微的最近邻操作。但是这种最近邻计算也是SLIC超像素聚类的核心，不可避免。

我们方法的关键：将近邻操作转换成可微的。我们不计算像素-超像素硬关联。而是计算软关联。

计算权重的方式来代替最邻近运算，该公式表示第 t 次迭代过程中，计算像素 p 和超像素 i 的权重。具体来说，对于t次迭代时的像素p和超像素i，我们将SLIC中的最近邻计算替换为以下像素-超像素关联：

相应，新超像素中心的计算公式也要修改为像素特征的加权和：

为了方便也将表示为，是Q矩阵的列归一化矩阵。因此超像素中心更新也可以表示为

其中，是归一化常数。

Q的大小=n × m

超像素数量=m

细节：缩短计距离限制为9个周围，则Q的大小从n × m 降到了n × 9 。Q计算中的这种近似在本质上类似于SLIC中的近似最近邻搜索。

4.2 SSN网络

4.1算法步骤：

4.2网络步骤详解：

输入图像I，输出超像素Q
1.像素使用CNN网络
2.在规则网格中，用特征平均值初始化超像素中心
3.从1-ｖ的范围内，迭代ｔ
        4.计算每个像素ｐ和周围超像素ｉ之间的联系
        5.计算新的超像素中心
6.解决循环
7.（可选）计算强连接
8.（可选）增强区域连通性

4.3像素－超像素之间的映射

像素－＞超像素
可微SLIC步骤。。

超像素－＞像素
传统方法中，一般通过将超像素的特征分配给在该超像素中的所有像素。而在该算法中，可以通过乘以行归一化的Q来计算。
其中，F表示像素，S表示超像素。

4.4　学习特定任务的超像素

特定任务的重建损失

假设我们可以在特定任务中想要有效表示的像素属性为R（如语义标签、光流图）
通过像素→超像素的映射 再到超像素→像素的逆映射，得到经过超像素分割后表达的像素信息R*，通过R和R*建立起损失函数：

 紧凑性损失

 损失函数

 5.实验细节

5.1　评估指标

ASA、边界召回（BR）、边界精度（BP）

5.2　消融实验

作者将算法分为三类：

SSNpix，将XYLab特征作为输入，与SLIC算法类似，不经过神经网络的处理。
SSNlinear，将卷积网络替换为一个简单的卷积层
SSNdeep，即为作者提出的包含7个卷积层的SSN，并通过设定神经网络提取不同的特征数 k 和算法迭代次数 v 来进行消融实验。

从图中可以看到随着神经网络的层数、k、v的增加，算法的ASA和BR得分也在增加。

5.3 比较

规定v = 10, k = 20后进行比较：


通过与其它算法的比较，我们可以看到SSN算法都有明显的优势。

6.总结

提出了一种新颖的超像素采样网络（SSN），它利用通过端到端训练学到的深层特征来估计任务特定的超像素。这是第一个端到端可训练的深度超像素预测技术。实验的几个基准测试表明，SSN始终如一地在表现出色，同时也更快。将SSN集成到语义分割网络中还可以提高性能，显示SSN在下游计算机视觉任务中的实用性。

• SSN快速，易于实施，可以轻松集成到其他深层网络中，具有良好的实证性能。
• SSN解决了将超像素纳入深度网络的主要障碍之一，这是现有超像素算法的不可微分性质。
• 在深度网络中使用超像素可以具有几个优点。

1. 超像素可以降低计算复杂度，尤其是在处理高分辨率图像时
2. 超像素也可用于加强区域常量假设（enforce piece-wise constant assumptions）
3. 有助于远程信息传播