数字图像处理-图像分割-复习总结

数学图像处理

图像分割

图像分割基础

图像分割是将图像划分为若干有意义的区域或部分，或者从图像中提取感兴趣目标的图像处理技术。

图像分割的基本策略

• 依据：图像中各个组成区域具有不同的特征，这些特征可以是灰度、颜色、纹理等。
• 这些特征在同一区域内表现出一致性或相似性，而在不同区域之间表现出显著区别。
  • 不连续性——不连续性是基于特性（如灰度）的不连续变化分割图像，如边缘检测
  • 相似性——根据制定的准则将图像分割为相似的区域，如阈值处理、区域生长

图像抠图（Image matting）是当前流行的一项新的图像处理技术，与-图像分割既有联系，又有区别。

• 图像抠图是指从一幅图像中尽可能完整地提取出感兴趣的目标；
• 图像分割只是将一幅图像中的前景（目标）从背景中分离出来。

图像中每一个像素的灰度值 r(x, y) 可以表示为前景灰度值 f(x, y) 和背景灰度值 b(x, y) 的线性组合：

$r(x,y)=\alpha f(x,y)+(1-a)b(x,y)$

式中，α 通道表示前景与背景叠加的透明度。

基于边界的图像分割（非连续性分割）

边界存在于目标与背景、不同目标之间，是图像分割所依据的重要特征。
基于边缘检测的图像分割首先确定图像中的边缘像素，然后将它们连接在一起构成边界。

边缘有方向和幅度两个属性，沿边缘方向像素灰度值变化平缓或不发生变化，而垂直于边缘方向像素灰度值变化剧烈。
边缘检测算法可分为两类：一阶差分和二阶差分

边缘检测

明确定义边缘，边缘点是信号变化剧烈的地方。

边缘是灰度值不连续的产物，可以利用差分来检测这种不连续性。

• 一阶差分算子通过寻找图像一阶差分中的最大值来检测边缘，将边缘定位在一阶差分最大的方向；
• 二阶差分算子通过寻找图像二阶差分过零点来定位边缘，最常用的是拉普拉斯过零点。

噪声对一阶差分和二阶差分的影响

• 噪声对于边缘灰度变化的整体趋势几乎是可忽略的，较大噪声的边缘呈现出轻微的波动。
• 一阶差分和二阶差分表现出对噪声的敏感性，在利用差分进行边缘检测时，应慎重考虑噪声的影响。

通常在边缘检测之前对有噪图像进行去噪或降噪处理。

一阶差分算子（掌握）

梯度算子定义在二维一阶导数的基础上，由于数字图像是离散的，常用差分近似偏导数，在像素 (x, y) 处的梯度定义为

式中，$G_x(x,y)$ 表示x方向的一阶差分，$G_y(x,y)$表示y方向的一阶差分。

• 梯度幅度记为 ▽f(x, y)

• 梯度方向为梯度增加最快的方向，记为 a(x, y)

• 灰度梯度指向边缘的垂直方向。

常用的一阶差分算子有Roberts、Prewitt和Sobel算子，用于近似计算偏导数。

Roberts 交叉梯度算子

梯度算子由两个模板组成，第一个计算x（垂直）方向的一阶差分，第二个计算y（水平）方向的一阶差分。

Prewitt 梯度算子—3×3梯度模板

梯度算子由两个模板组成，第一个计算 x（垂直）方向的一阶差分，第二个计算y（水平）方向的一阶差分。

Prewitt 示例

Sobel梯度算子—3×3梯度模板

梯度算子由两个模板组成，第一个计算x（垂直）方向上一阶差分，第二个计算y（水平）方向上一阶差分。

Sobel 算子检测图像 4 个方向的边缘

二阶差分算子

二阶差分算子在图像分割中的主要作用

• 二阶差分在边缘处产生零交叉，其过零点可以确定边缘的位置；
• 二阶差分的符号可以确定边缘像素在边缘暗的一边还是亮的一边。

拉普拉斯算子

拉普拉斯算子是一个用于检测边缘的二阶微分算子。在拉普拉斯结果中，边缘并不处于最大值处，而是处于最大正值和最小负值之间的零值处，称为过零点、零交叉（Zero Crossing)。

拉普拉斯算子分析

• 缺点
  • 对噪声的敏感；
  • 会产生双边效果；
  • 不能检测出边的方向。
• 应用
  • 利用二阶导数零交叉，确定边的位置。
  • 检测一个像素是在边的亮的一边还是暗的一边；
  • 拉普拉斯算子不直接用于边的检测，通常只起辅助的角色。

高斯拉普拉斯算子（LoG）

式中，σ 为标准差，决定了图像的平滑程度。

将 LoG 与图像卷积会模糊图像，其模糊程度是正比于 σ 的。因为 LoG 的平滑性质能减少噪声的影响，所以当边缘模糊或噪声较大时，利用LoG检测过零点能提供较可靠的边缘位置，当然这种方法的计算复杂度比较大。

这种近似不是惟一的，但有其本质的形状，即，一个正的中心项，周围被一个相邻的负值区域围绕（这个负值区域从原点开始作为距离的函数在值上是增加的），并被一个零值的外部区域所包围。

系数的总和也必须为零，以便在灰度级不变的区域中模板的响应为零。这个小的模板（5 * 5）仅对基本上无噪声的图像有用。
由于图像的形状，高斯型的拉普拉斯算子有时被称为墨西哥草帽函数。

高斯差分算子（DoG）

高斯差分(DoG)算子也是一种常用的二阶差分算子，顾名思义，它是两个高斯函数之差的形式。

Canny 算子

Canny 算子是一种有效的边缘检测算子，具体包括4个步骤：

• 高斯图像平滑：为了抑制噪声，利用高斯函数对图像进行平滑处理

• 

• 基于梯度的边缘检测：利用 Sobel 算子计算每一个像素 (x, y) 处的局部梯度幅度及其梯度方向

• 

• 梯度幅度的非极大值抑制：追踪梯度幅度中所有脊的顶部，保留局部梯度极大值点，形成单像素宽度的边缘，这个过程称为非极大值抑制；

• 双阈值法的边缘检测和连接：设置两个不同的阈值T1、T2，T1＜T2 。梯度幅度大于 T2 的像素称为强边缘像素，梯度幅度在其间的像素称为弱边缘像素，将强边缘像素连接成轮廓，当到达间断点时，在低阈值图像的 8 邻域内寻找可以连接到强边缘的弱边缘像素，直至将强边缘连接起来为止。

边缘检测算子的比较（掌握）

一种好的边缘检测算子具备3个特点：

• 有效抑制噪声，边缘检测错误率低，同时避免虚假边缘；
• 精确定位边缘，检测出真正的边缘；
• 对同一边缘具有低的响应次数，最好只产生一个响应。

梯度算子（一阶差分算子）

• Roberts算子利用一阶差分检测边缘，边缘定位精度较高，但抑制噪声能力较差，适用于陡峭边缘且信噪比高的图像。
• Sobel与Prewitt算子等效于首先对图像进行加权平滑处理，然后再计算差分，因此，对噪声有一定的抑制能力，但检测出的边缘具有一定宽度，且不能形成闭合、连通的轮廓。

二阶差分算子

• 拉普拉斯算子对噪声非常敏感，不适合直接用于边缘检测。
• LoG算子克服了拉普拉斯算子抗噪能力差的弱点，并能产生闭合、连通的轮廓，但在抑制噪声的同时也模糊了边缘，从而造成弱边缘漏检。
• Canny算子可以形成闭合、连通且单像素宽度的边缘，但也会产生类似意大利式细面条盘子效应的虚假边缘。

基于阈值的图像分割（相似性分割）

当背景复杂时，该方法会失效。阈值选定的好坏是此方法成败的关键

基于阈值的图像分割基本原理

• 通过设定不同的阈值，将图像中的像素分为两类或多类，具有计算简单、容易实现的优点。
• 阈值的选取决定了阈值分割的效果，阈值法的关键是如何选择合适的阈值。

当一幅图像由亮目标区域和暗背景区域（或反之）组成时，灰度直方图呈现双峰模式。

• 确定一个合适的阈值T将这两个峰分开。
• 将大于等于阈值的像素作为物体或背景，生成一个二值图像。

If f(x,y) >= T then set 255（即为1）
Else set 0

阈值分割法的特点

• 适用于目标与背景在灰度上有较强对比度，且目标或背景的灰度比较单一的图像。
• 这种方法总可以得到封闭且连通区域的边界。

阈值法分类

• 全局阈值法——利用全局信息对整幅图像求出最优分割阈值，可以是单一或多个阈值；
• 局部阈值法——将整幅图像划分为若干区域，再对各个区域使用全局阈值法分别求出最优分割阈值。

交互方式全局阈值法

交互方式全局阈值法的基本思想

• 在交互方式下，得到对象（或背景 ）的灰度值，比得到阈值 T 容易得多。

交互方式全局阈值法的具体步骤
估计目标区域中的样本值 $f(x_0,y_0)$；
试探性选取容许度 ；
对图像二值化，若，则标记为目标区域，赋值为1或255，否则，标记为背景区域，赋值为0。

P 参数法 - 试探法

P参数法的基本思想

• 根据目标区域在整幅图像中所占的比例来设定阈值，进行二值化处理。

P参数法的方法

• 试探性给出一个阈值T，统计目标区域的像素数，并计算目标区域的像素数与图像像素总数的比值，判断目标区域在整幅图像中所占的比例是否满足要求。
• 若满足要求，则阈值合适；否则，则阈值偏大或偏小，再对阈值进行调整，直至满足要求为止

P参数法的具体步骤

• 首先给出目标区域在整幅图像中所占比例的先验信息P0
• 在直方图中求出阈值，以保证S0 / S = P0
• 反复试若干次（指(1)、(2)步）

Otsu 阈值法（掌握）

Otsu阈值法的基本思想

• 根据图像中像素的灰度特征，将图像中像素分成前景和背景像素两类，两类像素的类间方差最大时的阈值即为最优阈值。

迭代阈值法（掌握）

迭代阈值法的基本思想

• 属于同一类别的像素灰度值具有较大的一致性，使用均值和方差作为均匀性度量的数字指标。

设图像的像素总数为 n，灰度级数为 L，第 k 个灰度级 rk 的像素数为 nk，则

具体步骤：

• 选取灰度均值或灰度中值作为阈值的初始估计值 T0；

• 根据像素的灰度值利用阈值将图像分割成两个区域，记为 R1 和 R2。R1 由灰度值在范围 [0, Tk] 内的像素组成，R2 由灰度值在范围 [Tk+1, L-1] 内的像素组成

• 分别计算区域R1和R2内像素的灰度均值 μ1 和 μ2

  

• 利用 μ1(Tk) 和 μ2(Tk) 更新阈值，即

  

• 若连续两次迭代的阈值 Tk+1 与 Tk 之差小于预设限 ,则终止迭代

• 否则返回步骤2

基于梯度的直方图阈值法

利用局部特征自动选取阈值

• 通过边界特性选择阈值
• 差分直方图法选择阈值
• 基于梯度的直方图阈值法
  • 基于梯度的直方图阈值法利用的局部邻域特征是像素的梯度。
  • 区域内部像素的灰度值具有一定的一致性和相关性，梯度较小，而边界像素具有较大的梯度。

梯度加权直方图阈值法

给梯度较小的目标和背景区域内部像素赋予较大的权重，而给它们边界上梯度较大的像素赋予较小的权重。
设 g(x, y) 表示像素 (x, y) 的梯度，在灰度直方图的计算过程中，对图像中像素的灰度值 f(x, y) 进行统计时，赋予关于梯度的权重 $1/[1+g(x,y){]}^2$，梯度加权直方图为：

在梯度加权直方图中（高的更高，低的更低）

• 由于均匀区域内部的梯度接近 0，赋予较大的权重，权重接近 1，目标和背景内部像素对应的波峰基本保持不变；
• 边界像素的梯度较大，赋予较小的权重，从而增加了波谷的深度。

灰度-梯度二维直方图阈值法

灰度-梯度二维直方图阈值法是建立一个二维直方图，横轴表示灰度级，纵轴表示梯度。

通常情况下，将图像的梯度压缩到范围 [0, L-1] 内并量化为整数，使得灰度-梯度二维直方图为L × L的方形。
设 f(x, y) 为像素 (x, y) 的灰度值，g(x, y) 为其梯度，灰度-梯度二维直方图为

多阈值法

单阈值法仅使用单一的全局阈值对目标和背景区域进行分割。当一幅图像的灰度直方图呈现明显的双峰特性时，选取两峰之间的谷底作为阈值，可以取得好的分割结果。
在实际应用中，图像的灰度直方图很少表现为明显的双峰。当目标与背景区域的灰度值范围有部分重叠时，仅选取单一阈值会产生较大的误差。

多阈值法

目的：难以准确定位双峰之间谷底位置的图像分割问题。

方法：多阈值法图像分割是在图像分割的过程中设定多个阈值来实现复杂双峰形状直方图的图像分割。

双阈值法

• 双阈值法同样使用两个阈值 T1 和 T2 区分背景和目标区域，其中，T1 < T2
  • 灰度值小于阈值T1的像素确定为背景区域，
  • 灰度值大于阈值T2的像素确定为目标区域，
  • 对于灰度值在范围T1与T2之间的像素，根据该像素邻域内已经做出判别的其他像素的情况进一步确定该像素的归属。

例如，将灰度值大于阈值T2 、且与灰度值大于阈值T1的像素相连通的所有像素标记为目标区域。

双阈值法探索目标像素的空间相似性或连续性，允许灰度值小于高阈值的像素划分为目标区域，与高阈值像素相连通的要求抑制了虚假背景区域的形成。
通过设定双阈值避免了单阈值法中阈值过高或过低而将目标像素错分为背景像素或将背景像素错分为目标像素的情况。

双阈值法图像分割的思想追溯到Canny边缘检测，在Canny边缘检测中使用两个不同的阈值，高阈值决定强边缘，而低阈值决定弱边缘。

灰度直方图中双峰之间的距离较近，基本上呈现单峰状态，假设目标和背景像素均服从高斯分布，图中分布较宽的高斯曲线表示目标像素的后验概率函数，分布较窄的高斯曲线表示背景像素的后验概率函数。

局部阈值法（动态阈值处理）

当图像中存在阴影、光照不均匀、对比度、背景灰度变化等情况时，仅使用固定的单一全局阈值对整幅图像进行分割则无法兼顾图像亮区域和暗区域。

局部阈值法使用一组与像素坐标相关的阈值，为图像中的各个像素计算不同的分割阈值，也称为动态阈值法或自适应阈值法。

对于不均匀光照图像来说，不论用哪个阈值都无法兼顾亮区与暗区。最好的办法是用可变阈值，在亮区阈值高，暗区阈值低，即对每个像素都自适应地选用不同的阈值。

Niblack算法

Niblack算法是一种局部阈值法，局部阈值 T(x, y) 依赖于空间坐标 (x, y)，其计算式为

T(x, y) = m(x, y) + ks(x, y)

式中，m(x, y) 表示以像素 (x, y) 为中心的邻域内像素的灰度均值；s(x, y) 表示以像素 (x, y) 为中心的邻域内像素的均方差；k为常数。

基于区域的图像分割（相似性分割）

基于阈值的图像分割没有考虑像素的空间位置关系，而同一分割区域的像素应该具有相似的性质；

基于区域的图像分割充分考虑像素及其空间邻域像素之间的关系。

• 区域生长法
• 区域分裂合并法

区域生长法（掌握）

区域生长法的基本思想

• 在待分割区域内确定一个或多个像素作为种子像素
• 根据某种相似性准则，由内向外合并具有相同或相似性质的相邻像素，逐步扩展区域
• 将扩展区域内的所有像素作为新的种子像素，继续合并具有相同或相似性质的相邻像素，直至扩展到整个区域。

根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点。

区域生长法要求待分割区域具有相同或相似的性质，且是连通的。区域内像素的相似性度量通常利用灰度、颜色、纹理等特征。

区域可以分为 4 连通区域和 8 连通区域

4连通区域生长法的算法实现

• 初始化一个堆栈，将种子像素入栈；
• 若堆栈非空，则栈顶像素出栈，标记该像素属于待分割区域；
• 按照“左 上 右 下”的顺序查看其4邻域内的像素，若相邻像素满足相似性准则，则属于同一区域，将该像素入栈。
• 重复上述过程直到堆栈为空。此时，标记了待分割区域内的所有像素。

对于种子像素的8连通区域生长，按照“左 左上 上 右上 右 右下 下 左下”的顺序查看其8邻域内的像素。

单一连通分量的检测

区域标记

区域标记是将一幅图像中的同一个连通分量标记为同一符号，也称为连通分量标记。

通常利用区域生长法提取二值图像中的所有连通分量，使用不同的符号标记不同的连通分量，输出为区域标记矩阵。

多个连通分量检测

区域分裂合并法

• 按照某种一致性准则分裂和合并区域，不需要预先指定种子像素。
• 当区域不满足一致性准则时，通过区域分裂将不同目标的区域分开；
• 当相邻区域性质相同或相似时，通过区域合并将同一目标的相邻区域合并。
• 区域分裂合并法通常利用四叉树数据结构进行描述。