OpenCV-Python教程(9)(10)(11): 使用霍夫变换检测直线 直方图均衡化 轮廓检测

OpenCV-Python教程(9、使用霍夫变换检测直线)

相比C++而言,Python适合做原型。本系列的文章介绍如何在Python中用OpenCV图形库,以及与C++调用相应OpenCV函数的不同之处。这篇文章介绍在Python中使用OpenCV的霍夫变换检测直线。

提示:

  • 转载请详细注明原作者及出处,谢谢!
  • 本文介绍在OpenCV-Python中使用霍夫变换检测直线的方法。
  • 本文不介详细的理论知识,读者可从其他资料中获取相应的背景知识。笔者推荐清华大学出版社的《图像处理与计算机视觉算法及应用(第2版) 》。

霍夫变换

Hough变换是经典的检测直线的算法。其最初用来检测图像中的直线,同时也可以将其扩展,以用来检测图像中简单的结构。

OpenCV提供了两种用于直线检测的Hough变换形式。其中基本的版本是cv2.HoughLines。其输入一幅含有点集的二值图(由非0像素表示),其中一些点互相联系组成直线。通常这是通过如Canny算子获得的一幅边缘图像。cv2.HoughLines函数输出的是[float, float]形式的ndarray,其中每个值表示检测到的线(ρ , θ)中浮点点值的参数。下面的例子首先使用Canny算子获得图像边缘,然后使用Hough变换检测直线。其中HoughLines函数的参数3和4对应直线搜索的步长。在本例中,函数将通过步长为1的半径和步长为π/180的角来搜索所有可能的直线。最后一个参数是经过某一点曲线的数量的阈值,超过这个阈值,就表示这个交点所代表的参数对(rho, theta)在原图像中为一条直线。具体理论可参考这篇文章

[python] view plain copy
  1. #coding=utf-8  
  2. import cv2  
  3. import numpy as np    
  4.   
  5. img = cv2.imread("/home/sunny/workspace/images/road.jpg"0)  
  6.   
  7. img = cv2.GaussianBlur(img,(3,3),0)  
  8. edges = cv2.Canny(img, 50150, apertureSize = 3)  
  9. lines = cv2.HoughLines(edges,1,np.pi/180,118#这里对最后一个参数使用了经验型的值  
  10. result = img.copy()  
  11. for line in lines[0]:  
  12.     rho = line[0#第一个元素是距离rho  
  13.     theta= line[1#第二个元素是角度theta  
  14.     print rho  
  15.     print theta  
  16.     if  (theta < (np.pi/4. )) or (theta > (3.*np.pi/4.0)): #垂直直线  
  17.                 #该直线与第一行的交点  
  18.         pt1 = (int(rho/np.cos(theta)),0)  
  19.         #该直线与最后一行的焦点  
  20.         pt2 = (int((rho-result.shape[0]*np.sin(theta))/np.cos(theta)),result.shape[0])  
  21.         #绘制一条白线  
  22.         cv2.line( result, pt1, pt2, (255))  
  23.     else#水平直线  
  24.         # 该直线与第一列的交点  
  25.         pt1 = (0,int(rho/np.sin(theta)))  
  26.         #该直线与最后一列的交点  
  27.         pt2 = (result.shape[1], int((rho-result.shape[1]*np.cos(theta))/np.sin(theta)))  
  28.         #绘制一条直线  
  29.         cv2.line(result, pt1, pt2, (255), 1)  
  30.   
  31. cv2.imshow('Canny', edges )  
  32. cv2.imshow('Result', result)  
  33. cv2.waitKey(0)  
  34. cv2.destroyAllWindows()  

结果如下:


注意:

在C++中,HoughLines函数得到的结果是一个向量lines,其中的元素是由两个元素组成的子向量(rho, theta),所以lines的访问方式类似二维数组。因此,可以以类似:

  1. std::vector<cv::Vec2f>::const_iterator it= lines.begin();  
  2. float rho= (*it)[0];  
  3. float theta= (*it)[1];  

这样的方式访问rho和theta。

而在Python中,返回的是一个三维的np.ndarray!。可通过检验HoughLines返回的lines的ndim属性得到。如:

[python] view plain copy
  1. lines = cv2.HoughLines(edges,1,np.pi/180,118)  
  2. print lines.ndim  
  3. #将得到3  
至于为什么是三维的,这和NumPy中ndarray的属性有关(关于NumPy的相关内容,请移步至NumPy简明教程),如果将HoughLines检测到的的结果输出,就一目了然了:
[python] view plain copy
  1. #上面例子中检测到的lines的数据  
  2.   
  3. 3 #lines.ndim属性  
  4. (152#lines.shape属性  
  5.   
  6. #lines[0]  
  7. [[  4.20000000e+01   2.14675498e+00]  
  8.  [  4.50000000e+01   2.14675498e+00]  
  9.  [  3.50000000e+01   2.16420817e+00]  
  10.  [  1.49000000e+02   1.60570288e+00]  
  11.  [  2.24000000e+02   1.74532920e-01]]  
  12. ===============  
  13. #lines本身  
  14. [[[  4.20000000e+01   2.14675498e+00]  
  15.   [  4.50000000e+01   2.14675498e+00]  
  16.   [  3.50000000e+01   2.16420817e+00]  
  17.   [  1.49000000e+02   1.60570288e+00]  
  18.   [  2.24000000e+02   1.74532920e-01]]]  

概率霍夫变换

观察前面的例子得到的结果图片,其中Hough变换看起来就像在图像中查找对齐的边界像素点集合。但这样会在一些情况下导致虚假检测,如像素偶然对齐或多条直线穿过同样的对齐像素造成的多重检测。

要避免这样的问题,并检测图像中分段的直线(而不是贯穿整个图像的直线),就诞生了Hough变化的改进版,即概率Hough变换(Probabilistic Hough)。在OpenCV中用函数cv::HoughLinesP 实现。如下:

[python] view plain copy
  1. #coding=utf-8  
  2. import cv2  
  3. import numpy as np    
  4.   
  5. img = cv2.imread("/home/sunny/workspace/images/road.jpg")  
  6.   
  7. img = cv2.GaussianBlur(img,(3,3),0)  
  8. edges = cv2.Canny(img, 50150, apertureSize = 3)  
  9. lines = cv2.HoughLines(edges,1,np.pi/180,118)  
  10. result = img.copy()  
  11.   
  12. #经验参数  
  13. minLineLength = 200  
  14. maxLineGap = 15  
  15. lines = cv2.HoughLinesP(edges,1,np.pi/180,80,minLineLength,maxLineGap)  
  16. for x1,y1,x2,y2 in lines[0]:  
  17.     cv2.line(img,(x1,y1),(x2,y2),(0,255,0),2)  
  18.   
  19. cv2.imshow('Result', img)  
  20. cv2.waitKey(0)  
  21. cv2.destroyAllWindows()  
结果如下:

未完待续。。。

参考资料:

1、《Opencv2 Computer Vision Application Programming Cookbook》

2、《OpenCV References Manule》




OpenCV-Python教程(10、直方图均衡化)

相比C++而言,Python适合做原型。本系列的文章介绍如何在Python中用OpenCV图形库,以及与C++调用相应OpenCV函数的不同之处。这篇文章介绍在Python中使用OpenCV和NumPy对直方图进行均衡化处理。

提示:

本文内容:

  • 使用查找表拉伸直方图
  • 使用OpenCV和NumPy的函数以不同的方式进行直方图均衡化

在某些情况下,一副图像中大部分像素的强度都集中在某一区域,而质量较高的图像中,像素的强度应该均衡的分布。为此,可将表示像素强度的直方图进行拉伸,将其平坦化。如下:


图来自维基百科

实验数据

本节的实验数据来自维基百科,原图如下:

其直方图为:


使用查找表来拉伸直方图

在图像处理中,直方图均衡化一般用来均衡图像的强度,或增加图像的对比度。在介绍使用直方图均衡化来拉伸图像的直方图之前,先介绍使用查询表的方法。

观察上图中原始图像的直方图,很容易发现大部分强度值范围都没有用到。因此先检测图像非0的最低(imin)强度值和最高(imax)强度值。将最低值imin设为0,最高值imax设为255。中间的按255.0*(i-imin)/(imax-imin)+0.5)的形式设置。

实现的任务主要集中在查询表的创建中,代码如下:

[python] view plain copy
  1. minBinNo, maxBinNo = 0255  
  2.   
  3. #计算从左起第一个不为0的直方图位置  
  4. for binNo, binValue in enumerate(hist):  
  5.     if binValue != 0:  
  6.         minBinNo = binNo  
  7.         break  
  8. #计算从右起第一个不为0的直方图位置  
  9. for binNo, binValue in enumerate(reversed(hist)):  
  10.     if binValue != 0:  
  11.         maxBinNo = 255-binNo  
  12.         break  
  13. print minBinNo, maxBinNo  
  14.   
  15. #生成查找表,方法来自参考文献1第四章第2节  
  16. for i,v in enumerate(lut):  
  17.     print i  
  18.     if i < minBinNo:  
  19.         lut[i] = 0  
  20.     elif i > maxBinNo:  
  21.         lut[i] = 255  
  22.     else:  
  23.         lut[i] = int(255.0*(i-minBinNo)/(maxBinNo-minBinNo)+0.5)  
查询表创建完成后,就直接调用相应的OpenCV函数即可,这里调用的是cv2.LUT函数:
[python] view plain copy
  1. #计算  
  2. result = cv2.LUT(image, lut)  

cv2.LUT函数只有两个参数,分别为输入图像和查找表,其返回处理的结果,完整代码如下:

[python] view plain copy
  1. #coding=utf-8  
  2. import cv2  
  3. import numpy as np  
  4.   
  5. image = cv2.imread("D:/test/unequ.jpg"0)  
  6. lut = np.zeros(256, dtype = image.dtype )#创建空的查找表  
  7. hist= cv2.calcHist([image], #计算图像的直方图  
  8.     [0], #使用的通道  
  9.     None#没有使用mask  
  10.     [256], #it is a 1D histogram  
  11.     [0.0,255.0])  
  12.       
  13. minBinNo, maxBinNo = 0255  
  14.   
  15. #计算从左起第一个不为0的直方图柱的位置  
  16. for binNo, binValue in enumerate(hist):  
  17.     if binValue != 0:  
  18.         minBinNo = binNo  
  19.         break  
  20. #计算从右起第一个不为0的直方图柱的位置  
  21. for binNo, binValue in enumerate(reversed(hist)):  
  22.     if binValue != 0:  
  23.         maxBinNo = 255-binNo  
  24.         break  
  25. print minBinNo, maxBinNo  
  26.   
  27. #生成查找表,方法来自参考文献1第四章第2节  
  28. for i,v in enumerate(lut):  
  29.     print i  
  30.     if i < minBinNo:  
  31.         lut[i] = 0  
  32.     elif i > maxBinNo:  
  33.         lut[i] = 255  
  34.     else:  
  35.         lut[i] = int(255.0*(i-minBinNo)/(maxBinNo-minBinNo)+0.5)  
  36.   
  37. #计算  
  38. result = cv2.LUT(image, lut)  
  39. cv2.imshow("Result", result)  
  40. cv2.imwrite("LutImage.jpg", result)  
  41. cv2.waitKey(0)  
  42. cv2.destroyAllWindows()  
直方图结果如下,可以看到原来占的区域很小的直方图尖峰被移动了:


处理结果为:


关于直方图的绘制,请参考这篇文章

直方图均衡化

介绍

有时图像的视觉上的缺陷并不在强度值集中在很窄的范围内。而是某些强度值的使用频率很大。比如第一幅图中,灰度图中间值的占了很大的比例。

在完美均衡的直方图中,每个柱的值都应该相等。即50%的像素值应该小于12825%的像素值应该小于64。总结出的经验可定义为:在标准的直方图中p%的像素拥有的强度值一定小于或等于255×p%。将该规律用于均衡直方图中:强度i的灰度值应该在对应的像素强度值低于i的百分比的强度中。因此,所需的查询表可以由下面的式子建立:

[python] view plain copy
  1. lut[i] = int(255.0 *p[i]) #p[i]是是强度值小于或等于i的像素的数目。  
p[i]即直方图累积值,这是包含小于给点强度值的像素的直方图,以代替包含指定强度值像素的数目。比如第一幅图像的累计直方图如下图中的蓝线:


而完美均衡的直方图,其累积直方图应为一条斜线,如上图中均衡化之后的红线。

更专业一点,这种累积直方图应称为累积分布(cumulative distribition)。在NumPy中有一个专门的函数来计算。这在NumPy实现直方图均衡化一节中介绍。

通过上面的介绍,应该可以明白,直方图均衡化就是对图像使用一种特殊的查询表。在第三个例子中可以看到使用查询表来获得直方图均衡化的效果。通常来说,直方图均衡化大大增加了图像的表象。但根据图像可视内容的不同,不同图像的直方图均衡化产生的效果不尽相同。

直方图均衡化之OpenCV函数实现

用OpenCV实现直方图均衡化很简单,只需调用一个函数即可:

[python] view plain copy
  1. img = cv2.imread('图像路径',0)  
  2. equ = cv2.equalizeHist(img)  
  3. cv2.imshow('equ',equ)  
这样图像就均衡化了。可以通过直方图的计算与显示这篇文章中介绍的方法将结果绘制出来。

直方图均衡化之NumPy函数实现

通过前面的介绍,可以明白直方图均衡化就是用一种特殊的查找表来实现的。所以这里用NumPy函数,以查找表的方式手动实现图像直方图的均衡化:

[python] view plain copy
  1. #coding=utf-8  
  2. import cv2  
  3. import numpy as np  
  4.   
  5. image = cv2.imread("D:/test/unequ.jpg"0)  
  6.   
  7. lut = np.zeros(256, dtype = image.dtype )#创建空的查找表  
  8.   
  9. hist,bins = np.histogram(image.flatten(),256,[0,256])   
  10. cdf = hist.cumsum() #计算累积直方图  
  11. cdf_m = np.ma.masked_equal(cdf,0#除去直方图中的0值  
  12. cdf_m = (cdf_m - cdf_m.min())*255/(cdf_m.max()-cdf_m.min())#等同于前面介绍的lut[i] = int(255.0 *p[i])公式  
  13. cdf = np.ma.filled(cdf_m,0).astype('uint8'#将掩模处理掉的元素补为0  
  14.   
  15. #计算  
  16. result2 = cdf[image]  
  17. result = cv2.LUT(image, cdf)  
  18.   
  19. cv2.imshow("OpenCVLUT", result)  
  20. cv2.imshow("NumPyLUT", result2)  
  21. cv2.waitKey(0)  
  22. cv2.destroyAllWindows()  
最终结果


验证

比较查找表和OpenCV直方图均衡化生成的直方图:


可以看出,总体上来看是吻合的,但OpenCV中函数的实现可能还有一些细微的差别(有空去翻下源码,不过今天就先到这里了)。

参考资料:

1、《Opencv2 Computer Vision Application Programming Cookbook》

2、《OpenCV References Manule》

3、http://opencvpython.blogspot.com/2013/03/histograms-2-histogram-equalization.html




OpenCV-Python教程(11、轮廓检测)


相比C++而言,Python适合做原型。本系列的文章介绍如何在Python中用OpenCV图形库,以及与C++调用相应OpenCV函数的不同之处。这篇文章介绍在Python中使用OpenCV检测并绘制轮廓。

提示:

  • 转载请详细注明原作者及出处,谢谢!
  • 本文介绍在OpenCV-Python中检测并绘制轮廓的方法。
  • 本文不介详细的理论知识,读者可从其他资料中获取相应的背景知识。笔者推荐清华大学出版社的《图像处理与计算机视觉算法及应用(第2版) 》。

轮廓检测

轮廓检测也是图像处理中经常用到的。OpenCV-Python接口中使用cv2.findContours()函数来查找检测物体的轮廓。

实现

使用方式如下:

[python] view plain copy
  1. import cv2  
  2.   
  3. img = cv2.imread('D:\\test\\contour.jpg')  
  4. gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)  
  5. ret, binary = cv2.threshold(gray,127,255,cv2.THRESH_BINARY)  
  6.   
  7. contours, hierarchy = cv2.findContours(binary,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)  
  8. cv2.drawContours(img,contours,-1,(0,0,255),3)  
  9.   
  10. cv2.imshow("img", img)  
  11. cv2.waitKey(0)  

需要注意的是cv2.findContours()函数接受的参数为二值图,即黑白的(不是灰度图),所以读取的图像要先转成灰度的,再转成二值图,参见4、5两行。第六行是检测轮廓,第七行是绘制轮廓。

结果

原图如下:

检测结果如下:

注意,findcontours函数会“原地”修改输入的图像。这一点可通过下面的语句验证:

[python] view plain copy
  1. cv2.imshow("binary", binary)  
  2. contours, hierarchy = cv2.findContours(binary,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)  
  3. cv2.imshow("binary2", binary)  
执行这些语句后会发现原图被修改了。

cv2.findContours()函数

函数的原型为

[python] view plain copy
  1. cv2.findContours(image, mode, method[, contours[, hierarchy[, offset ]]])  
返回两个值:contours:hierarchy。

参数

第一个参数是寻找轮廓的图像;

第二个参数表示轮廓的检索模式,有四种(本文介绍的都是新的cv2接口):
    cv2.RETR_EXTERNAL表示只检测外轮廓
    cv2.RETR_LIST检测的轮廓不建立等级关系
    cv2.RETR_CCOMP建立两个等级的轮廓,上面的一层为外边界,里面的一层为内孔的边界信息。如果内孔内还有一个连通物体,这个物体的边界也在顶层。
    cv2.RETR_TREE建立一个等级树结构的轮廓。

第三个参数method为轮廓的近似办法
    cv2.CHAIN_APPROX_NONE存储所有的轮廓点,相邻的两个点的像素位置差不超过1,即max(abs(x1-x2),abs(y2-y1))==1
    cv2.CHAIN_APPROX_SIMPLE压缩水平方向,垂直方向,对角线方向的元素,只保留该方向的终点坐标,例如一个矩形轮廓只需4个点来保存轮廓信息
    cv2.CHAIN_APPROX_TC89_L1,CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain 近似算法

返回值

cv2.findContours()函数返回两个值,一个是轮廓本身,还有一个是每条轮廓对应的属性。

contour返回值

cv2.findContours()函数首先返回一个list,list中每个元素都是图像中的一个轮廓,用numpy中的ndarray表示。这个概念非常重要。在下面drawContours中会看见。通过
[python] view plain copy
  1. print (type(contours))  
  2. print (type(contours[0]))  
  3. print (len(contours))  
可以验证上述信息。会看到本例中有两条轮廓,一个是五角星的,一个是矩形的。每个轮廓是一个ndarray,每个ndarray是轮廓上的点的集合。

由于我们知道返回的轮廓有两个,因此可通过

[python] view plain copy
  1. cv2.drawContours(img,contours,0,(0,0,255),3)  
[python] view plain copy
  1. cv2.drawContours(img,contours,1,(0,255,0),3)  
分别绘制两个轮廓,关于该参数可参见下面一节的内容。同时通过
[python] view plain copy
  1. print (len(contours[0]))  
  2. print (len(contours[1]))  
输出两个轮廓中存储的点的个数,可以看到,第一个轮廓中只有4个元素,这是因为轮廓中并不是存储轮廓上所有的点,而是只存储可以用直线描述轮廓的点的个数,比如一个“正立”的矩形,只需4个顶点就能描述轮廓了。

hierarchy返回值

此外,该函数还可返回一个可选的hiararchy结果,这是一个ndarray,其中的元素个数和轮廓个数相同,每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0] ~hierarchy[i][3],分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号,如果没有对应项,则该值为负数。

通过

[python] view plain copy
  1. print (type(hierarchy))  
  2. print (hierarchy.ndim)  
  3. print (hierarchy[0].ndim)  
  4. print (hierarchy.shape)  
得到
[python] view plain copy
  1. 3  
  2. 2  
  3. (124)  
可以看出,hierarchy本身包含两个ndarray,每个ndarray对应一个轮廓,每个轮廓有四个属性。

轮廓的绘制

OpenCV中通过cv2.drawContours在图像上绘制轮廓。  

cv2.drawContours()函数

[python] view plain copy
  1. cv2.drawContours(image, contours, contourIdx, color[, thickness[, lineType[, hierarchy[, maxLevel[, offset ]]]]])  

  • 第一个参数是指明在哪幅图像上绘制轮廓;
  • 第二个参数是轮廓本身,在Python中是一个list。
  • 第三个参数指定绘制轮廓list中的哪条轮廓,如果是-1,则绘制其中的所有轮廓。后面的参数很简单。其中thickness表明轮廓线的宽度,如果是-1(cv2.FILLED),则为填充模式。绘制参数将在以后独立详细介绍。

补充:

写着写着发现一篇文章介绍不完,所以这里先作为入门的。更多关于轮廓的信息有机会再开一篇文章介绍。

但有朋友提出计算轮廓的极值点。可用下面的方式计算得到,如下

[python] view plain copy
  1. pentagram = contours[1#第二条轮廓是五角星  
  2.   
  3. leftmost = tuple(pentagram[:,0][pentagram[:,:,0].argmin()])  
  4. rightmost = tuple(pentagram[:,0][pentagram[:,:,0].argmin()])  
  5.   
  6. cv2.circle(img, leftmost, 2, (0,255,0),3)   
  7. cv2.circle(img, rightmost, 2, (0,0,255),3)   

注意!假设轮廓有100个点,OpenCV返回的ndarray的维数是(100, 1, 2)!!!而不是我们认为的(100, 2)。切记!!!人民邮电出版社出版了一本《NumPy攻略:Python科学计算与数据分析》,推荐去看一下。

更新:关于pentagram[:,0]的意思

在numpy的数组中,用逗号分隔的是轴的索引。举个例子,假设有如下的数组:

[python] view plain copy
  1. a = np.array([[[3,4]], [[1,2]],[[5,7]],[[3,7]],[[1,8]]])  
其shape是(5, 1, 2)。与我们的轮廓是相同的。那么a[:,0]的结果就是:
[python] view plain copy
  1. [3,4], [1,2], [5,7], [3,7], [1,8]  
这里a[:,0]的意思就是a[0:5,0],也就是a[0:5,0:0:2],这三者是等价的

回头看一下,a的shape是(5,1,2),表明是三个轴的。在numpy的数组中,轴的索引是通过逗号分隔的。同时冒号索引“:”表示的是该轴的所有元素。因此a[:, 0]表示的是第一个轴的所有元素和第二个轴的第一个元素。在这里既等价于a[0:5, 0]。

再者,若给出的索引数少于数组中总索引数,则将已给出的索引树默认按顺序指派到轴上。比如a[0:5,0]只给出了两个轴的索引,则第一个索引就是第一个轴的,第二个索引是第二个轴的,而第三个索引没有,则默认为[:],即该轴的所有内容。因此a[0:5,0]也等价于a[0:5,0:0:2]。

再详细一点,a的全体内容为:[[[3,4]], [[1,2]],[[5,7]],[[3,7]],[[1,8]]]。去掉第一层方括号,其中有五个元素,每个元素为[[3,4]]这样的,所以第一个索引的范围为[0:5]。注意OpenCV函数返回的多维数组和常见的numpy数组的不同之处!

观察[[3,4]],我们发现其中只有一个元素,即[3, 4],第二个索引为[0:1]。

再去掉一层方括号,我们面对的是[3,4],有两个元素,所以第三个索引的范围为[0:2]。

再次强调一下OpenCVPython接口函数返回的NumPy数组和普通的NumPy数组在组织上的不同之处。

PS:OpenCV-Python讨论群——219962286,欢迎大家加入互相探讨学习。

得到的结果为如下:


参考资料:

1、《Opencv2 Computer Vision Application Programming Cookbook》

2、《OpenCV References Manule》

3、OpenCV官方文档Contour部分

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页