【翻译：OpenCV-Python教程】哈里斯角点检测

最新推荐文章于 2024-06-20 21:25:38 发布

宇翔1024

最新推荐文章于 2024-06-20 21:25:38 发布

阅读量908

点赞数 1

分类专栏： OpenCV 翻译文章标签： OpenCV 计算机视觉人工智能中文文档 4.0.1

OpenCV 同时被 2 个专栏收录

37 篇文章 8 订阅

订阅专栏

翻译

37 篇文章 0 订阅

订阅专栏

⚠️由于自己的拖延症，3.4.3翻到一半，OpenCV发布了4.0.1了正式版，所以接下来是按照4.0.1翻译的。

⚠️除了版本之外，其他还是照旧，Harris Corner Detection，附原文。

目标

在本章，

我们将了解哈里斯角点检测背后的概念。
我们将会遇到以下函数：cv.cornerHarris()，cv.cornerSubPix()

理论

在上一章，我们知道了角点是图像中向任意方向发生改变时，都引起图像强烈变动的区域。Chris Harris 和 Mike Stephens 在他们1988年的论文 A Combined Corner and Edge Detector 中，做了早期的尝试，尝试找出这些角点。因此现在这个算法被称为哈里斯角点检测。他把这个简单的想法变成了数学的形式。它基本上求出了位移(u,v)在各个方向上的强度差。这表示如下：

$E(u,v) = \sum_{x,y} \underbrace{w(x,y)}_\text{window function} \, [\underbrace{I(x+u,y+v)}_\text{shifted intensity}-\underbrace{I(x,y)}_\text{intensity}]^2$

窗口函数可以是一个矩形窗口，也可以是一个给与它覆盖像素权重的高斯窗口。

为了要做角点检测，我们需要令这个函数 E(u,v) 最大。也就是说二元函数求极限的时间到了。将泰勒展开应用于上述方程，并使用一些数学步骤(请参阅任何您喜欢的标准教科书以获得完整的推导过程)，我们得到最终的方程为：
$E(u,v) \approx \begin{bmatrix} u & v \end{bmatrix} M \begin{bmatrix} u \\ v \end{bmatrix}$

其中
$M = \sum_{x,y} w(x,y) \begin{bmatrix}I_x I_x & I_x I_y \\ I_x I_y & I_y I_y \end{bmatrix}$

在此，Ix 和 Iy 分别是x 和 y方向上图像的导数。(可以被简单用索贝尔函数算出来 cv.Sobel())。(译者注，M其实就是梯度的协方差矩阵)

然后进入主要的正题。做完这个步骤之后，他创建了一个得分函数，基本上就是一个等式，它将决定一个窗口是否包含一个角。
R = det(M) - k(trace(M))^2

其中

$det(M) = \lambda_1 \lambda_2$
$trace(M) = \lambda_1 + \lambda_2$
λ1 和 λ2 是M的特征值(译者注：复习一下特征值)

然后，这些特征值决定了一个区域是角、边还是平面。

当 |R| 较小时，是因为 λ1 和 λ2 都很小，说明这片区域是平面。
当 R<0时，是因为 λ1 >> λ2 或者反过来(其中一个远大于另外一个)，此时区域是边。
当 R较大时，是因为 λ1 和 λ2 都较大，且 λ1∼λ2，此时这片区域应为角。

它可以用下图来表示：

所以哈里斯角点检测算法的结果，是一个带着这些得分的灰度图像，使用一个合适的阈值，就能给到我们图中的角点。我们用一个简单的图像来做一下。

OpenCV里的哈里斯角点检测

OpenCV有针对它这个函数 cv.cornerHarris() ，它的参数是：

img - 输入图像，它应该是灰度图像，且是 float32 类型的。
blockSize - 它是检测拐角时所考虑的邻域大小。
ksize - 在应用索贝尔算法时使用的孔径参数。
k - 方程中哈里斯检测器的自由参数。

看以下示例：

import numpy as np
import cv2 as cv
filename = 'chessboard.png'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
cv.imshow('dst',img)
if cv.waitKey(0) & 0xff == 27:
    cv.destroyAllWindows()

下面是三个结果：

具有亚像素精度的角

有时，您可能需要找到最准确的角点。OpenCV 有一个函数 cv.cornerSubPix() ，它进一步细化检测到的角的亚像素精度。以下是一个示例。通常，我们还是要先找到哈里斯角。然后我们通过这些角的质心(在一个角上可能有一堆像素，我们取它们的质心)来细化它们。哈里斯角用红色像素标记，而细化之后的角用绿色像素标记。对于这个函数，我们必须定义何时停止迭代的条件。我们在指定的迭代次数之后停止它，或者达到了一定的精度，以最先发生的为准。我们还需要定义它将搜索角落的邻居的大小。

import numpy as np
import cv2 as cv
filename = 'chessboard2.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# find Harris corners
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
dst = cv.dilate(dst,None)
ret, dst = cv.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)
# find centroids
ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)
# define the criteria to stop and refine the corners
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)
# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]
cv.imwrite('subpixel5.png',img)

以下是结果，其中一些重要的位置显示在缩放窗口中进行可视化：