OpenCV 图像特征提取——Harris角点检测

OpenCV 图像特征提取

Harris 角点检测

---

1、什么是角点

  同角点并列的还有边界点、平面点。看下面的图可以看出来三者之间的位置关系。

从上面的图片我们可以看出来：

• 平面：A， B
• 边界：C， D
• 角点：E， F

简化一点就是下面三种情况：

2、如何区分角点、边界和平面

我们使用肉眼观察很方便，但是输入到计算机里面就需要相应的算法进行识别。

• 平面： 之所以叫平面，是因为在图像窗口任意移动过程中，像素值不会发生明显的变化，趋于平滑。

• 边界： 当图像窗口在边界范围移动时，像素值会沿一个方向基本不变，在垂直的方向发生巨大变化。可以看中间的图片，当沿 y 轴运动时，像素值不会发生大的变化。当沿 x 轴移动时会发生像素值会发生巨大变化。

• 角点： 不同于平面和边界，图像窗口处于角点位置时，沿任意方向都会发生巨大变化。

利用上面的规则我们就可以区分角点、边界和平面。

3、角点公式推导

我们在实际中主要是观察移动前后像素值的变化情况。
1、 当图像在 $(x,y)$ 处平移 $(\Delta x,\Delta y)$ 后的自相似性：

$$c(x,y;\Delta x,\Delta y)=\sum _{u,v\in W(x,y)}w(u,v)(I(u,v)-I(u+\Delta x,v+\Delta y){)}^2$$

其中 $w(x,y)$ 是以点 $(x,y)$ 为中心的窗口，这里既可以取常数，或者是高斯加权的函数（推荐）。

2、 对上面的部分式子进行化简,泰勒展开：

$$I(u+\Delta x,v+\Delta y)=I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y+O(\Delta x^2,\Delta y^2)\approx I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y$$

其中 $I_x,I_y$ 分别是 $x,y$ 的偏导数。

3、 进一步化简关于 c 的方程，近似可得：

$$c(x,y;\Delta x,\Delta y)\approx \sum _w(I_x(u,v)\Delta x+I_y(u,v)\Delta y{)}^2=[\Delta x,\Delta y]M(x,y)\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right]$$

我们发现上卖弄的式子是一个平方项，我们可以使用二次型对结果进行化简，提取二次型矩阵。

4、二次型矩阵
$$M(x,y)=\sum _w\left[\begin{array}{cc}{I}_x(x,y{)}^2& I_x(x,y)I_y(x,y)\\ I_x(x,y)I_y(x,y)& I_y(x,y{)}^2\end{array}\right]=\left[\begin{array}{cc}{\sum }_w{I}_x(x,y{)}^2& {\sum }_w{I}_x(x,y)I_y(x,y)\\ {\sum }_w{I}_x(x,y)I_y(x,y)& {\sum }_w{I}_y(x,y{)}^2\end{array}\right]=\left[\begin{array}{cc}A& B\\ B& C\end{array}\right]$$
化简可得：
$$c(x,y;\Delta x,\Delta y)\approx A\Delta x^2+2C\Delta x\Delta y+B\Delta y^2$$

$$\{\begin{array}{l}A=I_x^2\\ B=I_x{I}_y\\ C=I_y^2\end{array}$$

5、 形状估计

我们可以看得出来二次项函数是一个椭圆函数,类似于：$\frac{x^2}{a^2}+\frac{y^2}{b^2}=c$，只不过是一个不过圆心的椭圆函数。
而且椭圆的大小随着$\Delta x,\Delta y$的变化而变化。类似于一个锥体。

我们最后希望检测角点，我们上面提到，它的变化越大，说明是角点的可能性越大。也就是说在单位$\Delta x,\Delta y$变化中，角点所在位置一般就是$A， B， C $较大值的点。实际中我们并不好利用三个值来进行判断是否是边界，平面还是角点。所以我们根据性质来减少自变量。

6、 减少自变量

根据我们之前学的高数，里面有一个定理：

实对称矩阵一定可以对角化

我们的 $M$ 矩阵是一个实对称矩阵( $M^T=M$ )，那么它一定可以对角化，并且一定存在一组特征值( ${\lambda }_1,{\lambda }_2$ )，那么就将矩阵对角化。这样自变量由三个变成了两个，我们就方便来区分三者。

从上图我们可以分析出来：

• 平面：${\lambda }_1,{\lambda }_2$均小，也就说梯度不怎么变化
• 边界：${\lambda }_1\gg {\lambda }_2，{\lambda }_1\ll {\lambda }_2$，也就是说梯度只沿一个方向变化快，垂直方向变化慢。
• 角点：${\lambda }_1,{\lambda }_2$ 均大，也就是沿任意方向变化均快。

7、 角点响应值

上面我们只是分析了依靠${\lambda }_1,{\lambda }_2$来区分三者，那么需要更加准确的表达式来进行判别。
$$R=detM-\alpha (traceM{)}^2$$
其中$detM={\lambda }_1{\lambda }_2:行列式的值traceM={\lambda }_1+{\lambda }_2：迹$

4、OpenCV相关函数

cv2.cornerHarris(img, blockSize, ksize, k)

• img：输入图像。类型为float32
• blockSize：角点检测中指定的区域大小
• ksize：Soble求导中使用窗口的大小
• k：取值为[0.04-0.06]

5、角点检测程序实现

程序实现：

def cv_show(src):
    cv2.imshow('',src) 
    cv2.waitKey(0) 
    cv2.destroyAllWindows()

img_copy = img.copy()
img = cv2.imread('Pic/check.jpg')  # 棋盘图片
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 转换为灰度图
dst = cv2.cornerHarris(gray, 2, 3, 0.04)  # 角点检测
img[dst>0.0005*dst.max()]=[0,0,255]  # 标记角点
res = np.hstack((img_copy, img))
cv_show(res)

结果如下：

---

最后

更多精彩内容，大家可以转到我的主页：曲怪曲怪的主页

或者关注我的微信公众号：TeaUrn