OPENCV学习——角点检测

harris角点检测

1、图像特征

• 平面：平坦区域，没有什么确切的特征，沿水平和竖直方向运动均无明细那变化
• 边界：物体的边缘，位于交界处，沿某一方向移动有明显变换，能大致定位到
• 角点：物体的一些角落，沿水平和竖直两个方向移动均会发生明显变化

2、基本数学原理

对于图像I(x, y)，当在点的（x, y)出平移（$\Delta$x, $\Delta$y)后的自相似性：
$$c(x,y;\Delta x,\Delta y)=\sum _{(u,v)ϵW(x,y)}\omega (u,v)(I(u,v)-I(u+\Delta x,v+\Delta y){)}^2$$
W(x,y)是以点（x,y）为中心的窗口，即可是常数，也可以是高斯加权函数
I(u,v)为图像灰度
$I(u+\Delta x,v+\Delta y)$是平移后的图像灰度
求解：
基于泰勒展开，对图像I(x,y)在平移$(\Delta x,\Delta y)$后进行一阶近似：
$$I(u+\Delta x,v+\Delta y)=I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y+O(\Delta x^2,\Delta y^2)\approx I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y$$
其中$I_x$,$I_y$是I(x,y)的偏导数
近似可得：
$$c(x,y;\Delta x,\Delta y)\approx \sum _{(u,v)ϵW(x,y)}(I(u,v)-I(u+\Delta x,v+\Delta y){)}^2=[\Delta x,\Delta y]M(x,y)\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right]$$
其中M：
$$M(x,y)=\sum _w\left[\begin{array}{cc}{I}_x(x,y{)}^2& I_x(x,y)I_y(x,y)\\ I_x(x,y)I_y(x,y)& I_y(x,y{)}^2\end{array}\right]=\left[\begin{array}{cc}{\sum }_w{I}_x(x,y{)}^2& {\sum }_w{I}_x(x,y)I_y(x,y)\\ {\sum }_w{I}_x(x,y)I_y(x,y)& {\sum }_w{I}_y(x,y{)}^2\end{array}\right]=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$$
化简可得：
$c(x,y;\Delta x,\Delta y\approx A\Delta x^2+2C\Delta x\Delta y+B\Delta y^2)$
$A={\sum }_w{I}_x^2,B={\sum }_x{I}_y^2,C={\sum }_w{I}_x{I}_y$

二次函数本质上是一个椭圆方程

角点响应R值：
$R=detM-\alpha (traceM{)}^2$
$detM=\lambda 1\lambda 2,traceM=\lambda 1+\lambda 2$
判断：
边界：一个特征值大，一个特征值小，$\lambda 1>>\lambda 2$或$\lambda 1<<\lambda 2$。自相关函数值在某一个方向上大，在其他方向上小。R<0
平面：两个特征值都小，且近似相等；自相关函数值在各个方向上都小。$R\approx 0$
角点：两个特征值都大，且近似相等；自相关函数值在各个方向上都大。R > 0

代码实现

import cv2
import numpy as np
'''
img: 数据类型为float32的图像
blockSize：角点检测中指定区域的大小
ksize:Sobel求导中使用的窗口大小
k:取值参数为[0.04,0.06]
'''
img = cv2.imread('image/chessbroad.jpg')
print('img.shape:',img.shape)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv2.cornerHarris(gray,2,3,0.04)
print('dst.shape:',dst.shape)

img[dst>0.01*dst.max()] = [0,0,255]
cv2.imshow('dst',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

结果显示：