opencv31:哈里斯角检测|Harris Corner

目标

在本章中，将学习

• "Harris Corner Detection”背后的思想
• 函数：cv2.cornerHarris(),cv.2cornerSubPix()

理论

在上一章中看到，角是图像中各个方向上强度变化很大的区域。Chris Harris和Mike Stephens在1988年的论文《 A Combined Corner and Edge Detector 》中做了一次找到这些角点的早期尝试，所以现在将该方法称为哈里斯角点检测器。他把这个简单的想法变成了数学形式。它基本上找到了$(u,v)$在所有方向上位移的强度差异。表示如下：

$$E(u,v)=\sum _{x,y}\underset{\text{window function}}{\underbrace{w(x,y)}}[\underset{\text{shifted intensity}}{\underbrace{I(x+u,y+v)}}-\underset{\text{intensity}}{\underbrace{I(x,y)}}{]}^2$$
​

窗口函数可以是一个矩形窗口，也可以是一个高斯窗口,它在下面赋予了值。

必须最大化这个函数$E(u,v)$用于角点检测。这意味着，必须最大化第二个项。将泰勒扩展应用于上述方程,并使用一些数学步骤,得到最后的等式:

$$E(u,v)\approx \left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$$
其中

$$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_y\\ I_x{I}_y& I_y{I}_y\end{array}\right]$$

$I_x$ 和$I_y$ 分别是在x和y方向上的图像导数。（可以使用cv2.Sobel()获得）

在此之后，他们定义了一个分数，用等式表示，这将决定窗口是否包含角点。

$$R=det(M)-k(trace(M){)}^2$$

其中

• $det(M)={\lambda }_1{\lambda }_2$（行列式值）
• $trace(M)={\lambda }_1+{\lambda }_2$（迹，主对角线元素和）
• ${\lambda }_1$和${\lambda }_2$ 是M矩阵的特征值

因此，这些特征值的值决定了区域是拐角，边缘还是平坦。

• 当$\mid R\mid$较小，这在${\lambda }_1$ 和${\lambda }_2$较小时发生，该区域平坦。
• 当$R<0$时,这是在${\lambda }_1>>{\lambda }_2$ 时发生，反之亦然），该区域为边
• 当$R$很大时，这是在${\lambda }_1$ 和 ${\lambda }_2$比较大且${\lambda }_1$ ~${\lambda }_2$时，该区域是角点。

可以用如下图来表示：

因此，Harris Corner Detection的结果是具有这些分数的灰度图像。合适的阈值可提供图像的各个角落。

OpenCV中的哈里斯角检测

在OpenCV中有实现哈里斯角点检测，cv2.cornerHarris()。其参数为：

dst = cv2.cornerHarris(src, blockSize, ksize, k[, dst[, borderType]] )

• src - 输入图像，灰度和float32类型
• blockSize - 是拐角检测考虑的邻域大小
• ksize- 使用的Sobel导数的光圈参数
• k- 等式中的哈里斯检测器自由参数

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('chessboard.png')
img_copy = img.copy()
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

dst = cv2.cornerHarris(gray, 2, 3, 0.04)

# result is dilated for marking the corners, not important
dst = cv2.dilate(dst, None)

# Threshold for an optimal value, it may vary depending on the image.
img[dst >0.01*dst.max()]=[255,0,0]

# plot
plt.subplot(121)
plt.imshow(img_copy, cmap='gray')
plt.xticks([])
plt.yticks([])

plt.subplot(122)
plt.imshow(img, cmap='gray')
plt.xticks([])
plt.yticks([])
plt.show()

以下是结果：

可以看到，各个角点已经标红。

SubPixel精度的转角

有时候可能需要找到最精确的角点。OpenCV附带了一个函数cv2.cornerSubPix()，它进一步细化了以亚像素精度检测到的角点。下面是一个例子。

• 和之前一样，首先需要先找到哈里斯角点
• 然后通过这些角的质心(可能在一个角上有一堆像素，取它们的质心)来细化它们
• Harris角用红色像素标记，SubPixel角用绿色像素标记

对于cv2.cornerSubPix()函数，必须定义停止迭代的条件。我们可以在特定的迭代次数或达到一定的精度后停止它。此外，还需要定义它将搜索角点的邻居的大小。

corners = cv.cornerSubPix( image, corners, winSize, zeroZone, criteria )

• image: 输入图像，单通道
• corners: 输入的初始坐标和为输出提供的精制坐标
• winSize: 搜索窗口的一半侧面长度
• zeroZone: 搜索区域中间的死区大小的一半在下面的公式中的求和,有时用于避免自相关矩阵的可能奇点。$(-1,-1)$ 的值表示没有这样的尺寸
• criteria: 终止角点细化过程的条件

# sub pixel更精度角点
import cv2
import numpy as np

img = cv2.imread('chessboard2.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# find Harris corners
dst = cv2.cornerHarris(gray,2, 3, 0.04)
dst = cv2.dilate(dst, None)
ret, dst = cv2.threshold(dst, 0.01*dst.max(), 255,0)
dst = np.uint8(dst)

# find centroids
ret, labels, stats, centroids = cv2.connectedComponentsWithStats(dst)

# define the criteria to stop and refine the corners
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv2.cornerSubPix(gray, np.float32(centroids), (5, 5), (-1, -1), criteria)

# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]

cv2.imshow('subpixel', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

以下是结果, 可以看到SubPixel更精确一点：

附加资源

• https://docs.opencv.org/4.1.2/dd/d1a/group__imgproc__feature.html#gac1fc3598018010880e370e2f709b4345
• https://docs.opencv.org/4.1.2/dd/d1a/group__imgproc__feature.html#gac1fc3598018010880e370e2f709b4345
• https://docs.opencv.org/4.1.2/dd/d1a/group__imgproc__feature.html#ga354e0d7c86d0d9da75de9b9701a9a87e
• https://docs.opencv.org/4.1.2/d4/d86/group__imgproc__filter.html#gacea54f142e81b6758cb6f375ce782c8d
• https://docs.opencv.org/4.1.2/dd/d1a/group__imgproc__feature.html#ga354e0d7c86d0d9da75de9b9701a9a87e