形态学(morphology)一词通常表示生物学的一个分支,该分支主要研究动植物的形态和结构。而我们图像处理中的形态学,往往指的是数学形态学。下面一起来了解数学形态学的概念。
数学形态学(Mathematical morphology)是一门建立在格论和拓扑学基础之上的图像分析学科,是数学形态学图像处理的基本理论。其基本的运算包括:二值腐蚀和膨胀、二值开闭运算、骨架抽取、极限腐蚀、击中击不中变换、形态学梯度、Top-hat变换、颗粒分析、流域变换、灰值腐蚀和膨胀、灰值开闭运算、灰值形态学梯度等。
简单来讲,形态学操作就是基于形状的一系列图像处理操作。OpenCV为进行图像的形态学变换提供了快捷、方便的函数。最基本的形态学操作有两种,分别是:膨胀(dilate)与腐蚀(erode)。
膨胀与腐蚀能实现多种多样的功能,主要如下。
- 消除噪声;
- 分割(isolate)出独立的图像元素,在图像中连接(join)相邻的元素;
- 寻找图像中的明显的极大值区域或极小值区域;
- 求出图像的梯度。
在进行腐蚀和膨胀的讲解之前,首先提醒大家注意,腐蚀和膨胀是对白色部分(高亮部分)而言的,不是黑色部分。膨胀是图像中的高亮部分进行膨胀,类似于“领域扩张”,效果图拥有比原图更大的高亮区域:腐蚀是原图中的高亮部分被腐蚀,类似于“领域被蚕食”,效果图拥有比原图更小的高亮区域。
一、膨胀
膨胀(dilate)就是求局部最大值的操作。从数学角度来说,膨胀或者腐蚀操作就是将图像(或图像的一部分区域,称之为A)与核(称之为B)进行卷积。
核可以是任何形状和大小,它拥有一个单独定义出来的参考点,我们称其为锚点(anchorpoint),多数情况下,核是一个小的,中间带有参考点和实心正方形或者圆盘。其实,可以把核视为模板或者掩码。
而膨胀就是求局部最大值的操作。核B与图形卷积,即计算核B覆盖的区域的像素点的最大值,并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长,如图所示。这就是膨胀操作的初衷。
膨胀的数学表达式如下。
1.1 dilate函数
dilate函数使用像素邻域内的局部极大运算符来膨胀一张图片,从src输入,由dst输出。支持就地(in-place)操作。
函数原型如下。
C++: void dilate(
nputArray src,
OutputArray dst,
InputArray kernel,
Point anchor=Point (-1,-1),
int iterations=1,
int borderType=BORDER_CONSTANT,
const Scalar& bordervalue=morpholoqyDefaultBorderValue ();
参数详解如下
- 第一个参数, InputArray类型的src,输入图像,即源图像,填Mat类的对象即可。图像通道的数量可以是任意的,但图像深度应为CV_8U,CV_16U,CV_16S, CV_32F或CV_64F其中之一。
- 第二个参数, OutputArray类型的dst,即目标图像,需要和源图片有一样的尺寸和类型。
- 第三个参数, InputArray类型的kernel,膨胀操作的核。当为NULL时,表示的是使用参考点位于中心3x3的核。
- 第四个参数, Point类型的anchor,锚的位置,其有默认值(-1,-1),表示锚位于中心。
- 第五个参数, int类型的iterations,迭代使用erode)函数的次数,默认值为1
- 第六个参数, int类型的borderType,用于推断图像外部像素的某种边界模式。注意它有默认值BORDER DEFAULT.
- 第七个参数, const Scalar&类型的borderValue,当边界为常数时的边界值,有默认值morphologyDefaultBorderValue),一般不用去管它。需要用到它时,可以看官方文档中的createMorphologyFilter()函数,以得到更详细的解释。使用erode函数,
我们一般使用函数getStructuringElement配合第三个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素(内核矩阵)。其中,getStructuringElement函数的第一个参数表示内核的形状,有如下三种形状可以选择
- 矩形:MORPH RECT
- 交叉形: MORPHCROSS;
- 圆形:MORPH ELLIPSE.
而getStructuringElement函数的第二和第三个参数分别是内核的尺寸以及锚点的位置。
一般在调用erode以及dilate函数之前,先定义一个Mat类型的变量来获得getStructuringElement函数的返回值。对于锚点的位置,有默认值Point(-1,-1),表示锚点位于中心。此外,需要注意,十字形的element形状唯一依赖于锚点的位置,而在其他情况下,锚点只是影响了形态学运算结果的偏移。
getStructuringElement函数相关的调用示例代码如下。
int g-nstructElementSize = 3; //结构元素(内核矩阵)的尺寸
//获取自定义核
Mat element = getstructuringElement (MORPH RECT,Size (2*g nstructElementSize+1, 2*q nstructElementSize+1), Point ( q nstructElementSize, g nstructElementSize ));
调用之后,我们可以在接下来调用erode或dilate函数时,在第三个参数填保存了getStructuringElement返回值的Mat类型变量。对应于上面的示例,就是element变量。
一般只需要填前面的三个参数,后面的四个参数都有默认值,而且往往会结合getStructuringElement一起使用。
1.2 示例
int main()
{
//载入原图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原图】膨胀操作");
namedWindow("【效果图】膨胀操作");
//显示原图
imshow("【原图】膨胀操作", image);
//进行膨胀操作
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
Mat out;
dilate(image, out, element);
//显示效果图
imshow("【效果图】膨胀操作", out);
waitKey(0);
return 0;
}
int main01() //morphologyEx方法
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】膨胀");
namedWindow("【效果图】膨胀");
//显示原始图
imshow("【原始图】膨胀", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_DILATE, element);
//显示效果图
imshow("【效果图】膨胀", image);
waitKey(0);
return 0;
}
二、腐蚀
膨胀和腐蚀(erode)是相反的一对操作,所以腐蚀就是求局部最小值的操作。
我们一般都会把腐蚀和膨胀进行对比理解和学习。下文就可以看到,两者的函数原型也是基本一样的。腐蚀操作示例如图所示。
腐蚀的数学表达式如下。
2.1 示例
erode函数使用像素邻域内的局部极小运算符来腐蚀一张图片,从src输入,由dst输出。支持就地(in-place)操作。
看一下函数原型,如下。
C++: void erode(
InputArray src,
OutputArray dst,
InputArray kernel,
Point anchor-Point (-1,-1),
int iterations-1,
int borderType=BORDER_CONSTANT,
const Scalar& borderValue=morphologyDefaultBorderValue ());
参数详解如下。
- 第一个参数, InputArray类型的src,输入图像,即源图像,填Mat类的对象即可。图像通道的数量可以是任意的,但图像深度应为CV_8U.CV_16U.CV_16S. CV_32F或CV_64F其中之一。
- 第二个参数, OutputArray类型的dst,即目标图像,需要和源图片有一样的尺寸和类型。
- 第三个参数, InputArray类型的kernel,腐蚀操作的内核。为NULL时,表示的是使用参考点位于中心3x3的核。一般使用函数getStructuringElement配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素(内核矩阵,具体看上文中dilate函数的第三个参数讲解部分。
- 第四个参数, Point类型的anchor,锚的位置。其有默认值(-1,-1),表示锚立于单位(element)的中心,一般不用管它。
- 第五个参数, int类型的iterations,迭代使用erode)函数的次数,默认值为1。
- 第六个参数, int类型的borderType,用于推断图像外部像素的某种边界模。注意它默认值BORDER_DEFAULT
- 第七个参数, const Scalar&类型的borderValue,当边界为常数时的边界值,有默认值morphologyDefaultBorder Value(),一般不用去管它。需要用到它时,可以看官方文档中的createMorphologyFilter()函数以得到更详细的解释。
同样的,使用erode函数,一般只需要填前面的三个参数,后面的四个参数都有默认值。而且往往结合getStructuringElement一起使用。
2.2 示例
int main()
{
//载入原图
Mat srcImage = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//显示原图
imshow("【原图】腐蚀操作", srcImage);
//进行腐蚀操作
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
Mat dstImage;
erode(srcImage, dstImage, element);
//显示效果图
imshow("【效果图】腐蚀操作", dstImage);
waitKey(0);
return 0;
}
int main01() //morphologyEx方法
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】腐蚀");
namedWindow("【效果图】腐蚀");
//显示原始图
imshow("【原始图】腐蚀", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_ERODE, element);
//显示效果图
imshow("【效果图】腐蚀", image);
waitKey(0);
return 0;
}
morphologyEx函数
上边,我们重点了解了腐蚀和膨胀这两种最基本的形态学操作,而运用这两个基本操作,可以实现更高级的形态学变换。
所以,本节的主角是OpenCV中的morphologyEx函数,它利用基本的膨胀和腐蚀技术,来执行更加高级的形态学变换,如开闭运算、形态学梯度、“顶帽”、“黑帽”等。
首先,我们需要知道,形态学的高级形态,往往都是建立在腐蚀和膨胀这两个基本操作之上的。而关于腐蚀和膨胀,概念和细节以及相关代码请参考上一小节。对膨胀和腐蚀心中有数了,接下来的高级形态学操作,应该就不难理解。
本节的主角是OpenCV中的morphologyEx函数,它利用基本的膨胀和腐蚀技术,来执行更加高级的形态学变换,如开闭运算、形态学梯度、“顶帽”、“黑帽”等。
void morphologyEx( InputArray src, OutputArray dst,
int op, InputArray kernel,
Point anchor = Point(-1,-1), int iterations = 1,
int borderType = BORDER_CONSTANT,
const Scalar& borderValue = morphologyDefaultBorderValue() );
其中第三个参数op可选择:
三、开运算
开运算(Opening Operation),其实就是先腐蚀后膨胀的过程。
开运算可以用来消除小物体,在纤细点处分离物体,并且在平滑较大物体的边界的同时不明显改变其面积。
int main()
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】开运算");
namedWindow("【效果图】开运算");
//显示原始图
imshow("【原始图】开运算", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_OPEN, element);
//显示效果图
imshow("【效果图】开运算", image);
waitKey(0);
return 0;
}
四、闭运算
先膨胀后腐蚀的过程称为闭运算(Closing Operation);
闭运算能够排除小型黑洞(黑色区域)。效果图如图
int main()
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】闭运算");
namedWindow("【效果图】闭运算");
//显示原始图
imshow("【原始图】闭运算", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_CLOSE, element);
//显示效果图
imshow("【效果图】闭运算", image);
waitKey(0);
return 0;
}
五、形态学梯度
形态学梯度(Morphological Gradient)是膨胀图与腐蚀图之差;
对二值图像进行这一操作可以将团块(blob)的边缘突出出来。我们可以用形态学梯度来保留物体的边缘轮廓,如图
int main()
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】形态学梯度");
namedWindow("【效果图】形态学梯度");
//显示原始图
imshow("【原始图】形态学梯度", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_GRADIENT, element);
//显示效果图
imshow("【效果图】形态学梯度", image);
waitKey(0);
return 0;
}
六、顶帽
顶帽运算(Top Hat)又常常被译为”礼帽“运算,是原图像与上文刚刚介绍的“开运算”的结果图之差。
因为开运算带来的结果是放大了裂缝或者局部低亮度的区域。因此,从原图.中减去开运算后的图,得到的效果图突出了比原图轮廓周围的区域更明亮的区域,且这一操作与选择的核的大小相关。
顶帽运算往往用来分离比邻近点亮一些的斑块。在一幅图像具有大幅的背景,而微小物品比较有规律的情况下,可以使用顶帽运算进行背景提取。
int main()
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】顶帽运算");
namedWindow("【效果图】顶帽运算");
//显示原始图
imshow("【原始图】顶帽运算", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_TOPHAT, element);
//显示效果图
imshow("【效果图】顶帽运算", image);
waitKey(0);
return 0;
}
七、黑帽
黑帽(Black Hat)运算是闭运算的结果图与原图像之差。
黑帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域,且这一操作和选择的核的大小相关。
所以,黑帽运算用来分离比邻近点暗一些的斑块,效果图有着非常完美的轮廓。
int main()
{
//载入原始图
Mat image = imread("F:\\CV\\LearnCV\\files\\maliao.jpg");
//创建窗口
namedWindow("【原始图】黑帽运算");
namedWindow("【效果图】黑帽运算");
//显示原始图
imshow("【原始图】黑帽运算", image);
//定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
//进行形态学操作
morphologyEx(image, image, MORPH_BLACKHAT, element);
//显示效果图
imshow("【效果图】黑帽运算", image);
waitKey(0);
return 0;
}