超像素学习笔记（1）——概念及判别条件

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文主要介绍超像素的概念及判别条件。

---

一、超像素的概念

• 定义：超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。它利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图像特征，能够在不牺牲太大精确度的情况下降维，很大程度上降低了图像处理的复杂度，所以通常作为分割算法或图像处理其他算法的预处理。如图所示：
  
• 超像素最直观的解释是把一些具有相似特性的像素“聚合”起来，形成一个更具有代表性的大“元素”。而这个新元素，将作为其他图像处理算法的基本单位。这样可以降低维度，剔除一些异常像素点。
• 超像素是把一幅像素级（pixel-level）的图，划分成区域级（district-level）的图，是对基本信息元素进行的抽象。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。
• 超像素分割属于图像分割(image segmentation)，再细化应该属于过分割(over segmentation)。理论上，任何图像分割算法的过度分割（over-segmentation）即可生成超像素。
• 举例如下：
  
  （a） 是原始图片，（b）是基于人类视角的分割图，也就是ground truth，
  （c）就是超像素分割的图片，（d）是基于（c）进行分割的图片。

二、超像素判别条件：一般参考三个指标

1.Undersegmentation Error（UE）——欠分割误差

此公式表示：超像素与真实分割(Ground truth,G)相交之外的像素数量与真实分割像素数量的比值。
因此，UE值越小越好。但是该公式没有将UE限制在[ 0 , 1 ]。
如图所示：白色是图像中的一个物体，红线是一个个超像素的轮廓，而粉红色的区域就是undersegmentation区域，这部分区域越小越好。

2.Boundary Recall（Rec）——边界召回率

式中，TP(G,S)表示S中的边界像素在规定的邻域中存在G中的边界像素；
FN(G,S)表示S中的边界像素在规定的领域中不存在G中的边界像素。
因此，Rec(G,S) 越大越好。
如图所示，黑色虚线及实线是图像中物体的轮廓，红线是超像素的边界。一个好的超像素算法，应该覆盖图像中物体的轮廓。在给予一定缓冲（粉红色区域）的情况下，超像素边缘可以覆盖图像物体边缘（黑色实线）越多越好。

3.Compactness（CO）——紧凑性

式中，A(Sj)表示超像素Sj的面积；
P(Sj)表示与超像素Sj 周长相同的圆的面积。
因此，CO(G,S)越大越好。
如图所示，该指标可衡量超像素是否“紧实”。

4.其他指标

（1）Explained Variation（EV）——变化解释
EV量化了超像素的质量，不依赖于G。因为图像边界通常表现出强烈的颜色和结构变化，因此EV定义为：

式中，μ(Sj) 和μ(I)表示超像素(Sj)和图像I的mean color(色彩均值)，因此EV越大越好。
（2）Achievable Segmentation Accuracy（ASA）——可达分割精度

通常，超像素Sj与真实分割Gj交集越大，说明超像素分割效果越好，因此 ASA(G,S)越大越好。
（3）Intra-Cluster Variation（ICV）——簇内变化

通过计算每个超像素内的平均标准偏差来描述分割的质量。好的分割应该在每个超像素内创建具有较小差异的同质簇。因此ICV(S)越小越好。
（4）Mean Distance to Edge（MDE）——边缘平均距离

式中，B(G)为G中的边界像素集合，distS为S的距离变换。因此，MDE越小越好。

---

参考文献

超像素(Superpixel)的大致原理以及State-of-the-art？
超像素—学习笔记
超像素(Superpixel)理解
超像素图像分割简述
超像素评价(评估)标准