从零开始学cv-13：形态学变换进阶操作

---

前言

通过上文的学习，我们已经基本掌握了基本的形态学操作，并且可以根据这些操作解决大部分实际问题，但还有一些单纯依靠上述算法难以解决的问题，下面我们来举几个更复杂的形态学操作.

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、孔洞填充

孔洞在图像处理中是指被前景像素完全包围的背景区域，表现为图像中的空白连通区域，不与边界相连，可以是任意形状，常见于二值图像中由背景像素构成并被前景像素环绕的部分。
在形态学变换中，大多数都是对二值化图像进行处理的，但二值化受光照等外部干扰较多，在执行二值化的时候物体内部容易出现黑色空洞，一般情况下若孔洞较小或大小均匀可以通过形态学闭运算，先膨胀在腐蚀来填充孔洞，但若孔洞较大这个时候如果选择闭运算，就需要选择更大的结构元，但结构元过大会使得边缘信息丢失并且容易与其他物体联通起来，影响后续使用，在这里介绍一种在opencv中比较常用的孔洞填充方法漫水填充法（泛洪算法）
泛洪填充算法（Flood Fill Algorithm）旨在填充图像中由相同属性像素组成的连通区域。该算法从用户指定的或基于特定条件自动确定的起始像素（种子点）出发，将指定的颜色或值扩散至与之相邻的像素。这一过程持续进行，直至整个连通区域达到一致性填充。泛洪算法的基本步骤包括：首先选定一个种子点；然后从该点出发，检查其四周（以及可能的对角线）相邻像素；若这些相邻像素符合填充标准（例如，具有相同的颜色或灰度值），则将它们替换为目标颜色或值，并将它们加入待处理队列；该过程不断循环，直至所有符合条件的像素均被处理完毕。
在opencv可以通过retval, image, mask, rect = cv2.floodFill(image, mask, seedPoint, newVal, loDiff, upDiff, flags) 实现泛洪算法.

参数：
image: 输入/输出图像，必须是 8 位 3 通道图像。
mask: 与 image 同样大小的掩码图像，用于标记已经填充的像素。通常初始化为一个全部为零的图像，类型为 uint8。如果掩码非零，则函数不会填充那些像素。
seedPoint: 种子点，即开始填充的位置，格式为 (x, y)。
newVal: 用于填充的颜色，格式为 (blue, green, red)。
loDiff: 当前像素与其邻域像素之间的颜色下界差值，用于确定哪些像素可以被视为相同的颜色并进行填充。
upDiff: 当前像素与其邻域像素之间的颜色上界差值，同样用于确定填充的条件。
flags: 操作标志，可以组合使用以下标志：
FLOODFILL_FIXED_RANGE: 使用固定范围填充，比较的是邻域像素与种子点的差值。
FLOODFILL_MASK_ONLY: 功能与 mask 参数结合使用，只填充掩码区域，不改变原始图像。
返回值：
retval: 填充区域的边界矩形左上角和右下角的坐标。
image: 填充后的图像。
mask: 更新后的掩码图像，填充区域的像素被设置为填充颜色。
rect: 填充区域的边界矩形，格式为 (x, y, w, h)。

注意：泛洪填充算法在处理图像边缘的像素时，需要检查这些像素的邻域，而如果掩码与原始图像大小相同，那么边缘像素的邻域将无法完全检所以掩膜一般比 image 的高度多 2 个像素，宽度多 2 个像素
示例代码：

import cv2
import numpy as np

# 图像为二值化图像，255 白色为目标物，0 黑色为背景，要填充白色目标物中的黑色空洞
imgGray = cv2.imread(r"E:\PS\1701054586943.png", flags=0)  # flags=0 读取为灰度图像
ret, imgBin = cv2.threshold(imgGray, 10, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)  # 二值化处理
imgBin_f = np.bitwise_not(imgBin)
h, w = imgBin.shape[:2]
mask = np.zeros((h+2, w+2), np.uint8)  # 掩模图像比原始图像宽 2 个像素、高 2 个像素

imgFloodfill = imgBin_f.copy()

cv2.floodFill(imgBin_f, mask, (0, 0),255)  # 从（0，0）点开始将图像的背景填充为纯白色留下孔洞
imgBin2 = np.bitwise_not(imgBin_f)  # 将白色孔洞取反，使得背景变为纯黑孔洞变为纯白，便于后续运算
new_image = imgBin-imgBin2          #将原图与取反后的孔洞相减输出填充图
cv2.imshow("imgBin", imgBin)
cv2.imshow("imgBin2", imgBin2)
cv2.imshow("new_image", new_image)

cv2.waitKey(0)

效果：

二、形态学凸壳与细化

凸壳（Convex Hull）是计算几何学中的一个核心概念，它代表了一个包含特定点集的最小凸多边形，该多边形能够囊括集合中的每一个点。换言之，对于一组散布的点，凸壳就是那个能够围绕这些点且自身不包含任何凹角的最外层多边形。
关于凸壳的几个要点如下：
定义：
凸多边形：一个多边形被认为是凸的，当且仅当对于多边形内部的任意两点，连接这两点的直线段完全包含在多边形内部或恰好在其边界上。
凸壳：对于给定的点集，其凸壳定义为能够包含该点集中所有点的最小凸多边形。
性质：

1. 凸壳的每一条边都是由点集中的两个点构成的直线段。
2. 在凸壳内部的任意两点之间的连线要么完全位于凸壳内部，要么恰好落在凸壳的边界上。
3. 在所有能够包含该点集的凸多边形中，凸壳具有最小的面积。

在二维图像中，可以将凸壳想象为一条紧贴所有点的橡皮筋，它围成的区域就是最小凸多边形。这个区域包含了所有点，但没有凹角，就像是一个紧绷的橡皮筋环绕着这些点。而凸壳与物体实际边缘之间的区域，我们称之为凸陷（Convexity Defect），这是物体形状中凹入的部分。
简单来说，凸壳在平面上是一种特殊的形状，就像由三个点构成的三角形或四个点构成的四边形一样。虽然用橡皮筋的比喻可以帮助理解，但重要的是要认识到凸壳不是橡皮筋本身，而是橡皮筋围起来的那个区域。在如下图所示的例子中，橡皮筋收缩后形成的蓝色区域就是凸壳，它代表了围绕所有点的最小凸多边形。

在opencv中支持了形态学凸壳操作，函数为hull = cv2.convexHull(points, clockwise=False, returnPoints=True)

参数：
points: 一个 numpy 数组，包含二维点集，通常是 numpy.float32 或 numpy.int32 类型，形状为 (N, 1, 2) 或 (N, 2)，其中 N 是点的数量。
clockwise: 一个布尔值，如果为 True，则输出凸壳的点将按照顺时针方向排列。如果为 False（默认值），则点的排列方向是逆时针。
returnPoints: 一个布尔值，如果为 True（默认值），则函数返回凸壳的顶点坐标。如果为 False，则返回凸壳的索引，即输入点集中构成凸壳的点的索引。
返回值：
hull: 函数返回的结果，根据 returnPoints 参数的值，它要么是凸壳顶点的坐标数组，要么是构成凸壳的点的索引数组。

细化是一种图像处理技术，它通过逐层剥离图像边缘的像素，逐步去除部分点，同时保持原始形状不变，最终提取出图像的骨架。骨架可被视为物体的中心轴线，例如，长方形的骨架是它的长方向上的中轴线，正方形的骨架是它的中心点，圆的骨架是圆心，直线的骨架即其自身，孤立点的骨架同样是其自身。提取骨架的过程实际上是在突出物体的主要结构和形状信息，同时消除冗余信息。这样的处理使得图像上特征点的检测，如端点、交叉点和拐点，变得更加容易。利用骨架信息，可以显著减少运算量，提高检测速度。
在opencv中可以通过函数dst = cv2.ximgproc.thinning(src, thinningType=cv2.ximgproc.THINNING_ZHANGSUEN)实现细化算法

参数：
src: 输入图像，必须是 8 位单通道二值图像，通常像素值为 0 或 255。
thinningType: 细化算法的类型，OpenCV 中提供了以下两种算法：
cv2.ximgproc.THINNING_ZHANGSUEN: Zhang-Suen 细化算法，这是一种高效的细化算法，适用于大多数情况。
cv2.ximgproc.THINNING_GUOHALL: Guo-Hall 细化算法，另一种常用的细化算法。
返回值：
dst: 输出图像，与输入图像具有相同的尺寸和数据类型，但其边缘像素已被细化。

案例：

import cv2
import numpy as np

# 图像为二值化图像，255 白色为目标物，0 黑色为背景，要填充白色目标物中的黑色空洞
imgGray = cv2.resize(cv2.imread(r"E:\PS\1701054586943.png", flags=0), (640, 480))  # flags=0 读取为灰度图像
ret, imgBin = cv2.threshold(imgGray, 10, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)  # 二值化处理
contours, _ = cv2.findContours(imgBin,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)  # 查找轮廓 方式为返回所有的轮廓
thin = cv2.ximgproc.thinning(imgBin, thinningType=cv2.ximgproc.THINNING_ZHANGSUEN)  # 图像细化
hullAll = []  # 所有的凸包
for i in range(len(contours)):
    hull = cv2.convexHull(contours[i], False)  # 计算轮廓 contours[i] 的凸包
    hullAll.append(hull)
colorConvexHull = (255, 255, 255)
for i in range(len(contours)):  # 绘制凸包线
    cv2.drawContours(imgBin, hullAll, i, colorConvexHull, 2, 8)  # 绘制图像的凸壳

cv2.imshow("tu", imgBin)
cv2.imshow("thin", thin)
cv2.waitKey(0)

效果：