Opencv之Harris角点检测

Harris角点检测的目的是去分辨出图像中的平面、边界以及角点。

基本原理

下面三张图分别代表平面、边缘以及角点。
人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。如果在各个方向上移动这个特征的小窗口，窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点。如果这个特定的窗口在图像各个方向上移动时，窗口内图像的灰度没有发生变化，那么窗口内的图像就可能是一个平面；如果窗口在某一个方向移动时，窗口内图像的灰度发生了较大的变化，而在另一些方向上没有发生变化，那么，窗口内的图像可能就是一条直线的线段。
对于图像$I_{(x,y)}$，当点$(x,y)$平移了$(\Delta x,\Delta y)$之后，其自适应性为：
$$c_{(x,y;\Delta x,\Delta y)}=\sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}(I_{(u,v)}-I_{(u+\Delta x,v+\Delta y)}{)}^2$$
其中$W_{(x,y)}$是以点$(x,y)$为中心的窗口，通常取$3\times 3$的窗口尺寸，${\omega }_{(u,v)}$是此窗口上对应的每个点$(u,v)$的权重，可以是常数，也可以是高斯加权函数。
将$I_{(u+\Delta x,v+\Delta y)}$进行一阶泰勒展开，得到：
$$I_{(u+\Delta x,v+\Delta y)}=I_{(u,v)}+I_{u(u,v)}\Delta x+I_{v(u,v)}\Delta y+O({\Delta x}^2,{\Delta y}^2)\approx I_{(u,v)}+I_{u(u,v)}\Delta x+I_{v(u,v)}\Delta y$$
近似可得：
$$c_{(x,y;\Delta x,\Delta y)}=\sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}(I_{u(u,v)}\Delta x+I_{v(u,v)}\Delta y{)}^2$$
因为根据二次型转换，有：
$$c_{(x,y;\Delta x,\Delta y)}=\left[\begin{array}{cc}\Delta x& \Delta y\end{array}\right]M_{(u,v)}\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right]$$
其中，
$$M_{(u,v)}=\sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}\left[\begin{array}{cc}{I_{u(u,v)}}^2& I_{u(u,v)}{I}_{v(u,v)}\\ I_{u(u,v)}{I}_{v(u,v)}& {I_{v(u,v)}}^2\end{array}\right]=\left[\begin{array}{cc}\sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}{I_{u(u,v)}}^2& \sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}{I}_{u(u,v)}{I}_{v(u,v)}\\ \sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}{I}_{u(u,v)}{I}_{v(u,v)}& \sum _{(u,v)\in W_{(x,y)}}{\omega }_{(u,v)}{I_{v(u,v)}}^2\end{array}\right]=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$$
将$\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$对角化过后，会得到：
$$\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]=R^{-1}\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]R$$
由于忽略余项之后的表达式为一个二项式函数，然而二项式函数的本质上就是一个椭圆函数，椭圆的扁率和尺寸是由M(x,y)的特征值λ1、λ2决定的，椭圆的方向是由M(x,y)的特征矢量决定的，如下图所示，椭圆方程为：
$$\left[\begin{array}{cc}\Delta x& \Delta y\end{array}\right]M_{(x,y)}\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right]=1$$
椭圆函数特征值与图像中的角点、直线（边缘）和平面之间的关系如下图所示。共可分为三种情况：

a. 图像中的直线。一个特征值大，另一个特征值小，λ1>λ2或λ2>λ1。自相关函数值在某一方向上大，在其他方向上小。

b. 图像中的平面。两个特征值都小，且近似相等；自相关函数数值在各个方向上都小。

c. 图像中的角点。两个特征值都大，且近似相等，自相关函数在所有方向都增大。
由于我们是通过M的两个特征值的大小对图像进行分类，所以，定义角点响应R值：
$$R=detM-\alpha (traceM)$$
其中，$detM={\lambda }_1{\lambda }_2$以及$traceM={\lambda }_1+{\lambda }_2$
所以，上图可以转化为：

用python实现Harris角点检测

import cv2 
import numpy as np

img = cv2.imread('box.png')
print ('img.shape:',img.shape)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# gray = np.float32(gray)
dst = cv2.cornerHarris(gray, 2, 3, 0.04)  # 计算角点相应R值
print ('dst.shape:',dst.shape)
img[dst>0.1*dst.max()]=[0,0,255]  # 认为角点相应R值大于某值时为角点
cv2.imshow('dst',img) 
cv2.waitKey(0) 
cv2.destroyAllWindows()

得到的结果为：
原图像：

标出角点后的图像：