OpenCV1---Harris角点检测

一、Harris角点检测理论

1. 首先需要明确什么是角点
   
2. 角点的特点
   平坦区域：窗口移动在所有方向没有明显的梯度变化
   边缘区域：窗口移动在某个方向有明显梯度变化
   角点区域：窗口移动在各个方向梯度值都有明显变化
3. 公式推导
   窗口平移$[U,V]$方向产生灰度变化$E(u,v)$，可以将公式写为
   $E(u,v)={\sum }_{x,y}w(x,y){[I(x+u,y+v)]-I(x,y)]}^2$

• $w(x,y)$:窗口函数，内含权重信息，常用的权重为1或者高斯正态分布。
• 函数$I$:像素密度函数，类比于像素值。
• $x,y$:窗口像素坐标
• $u,v$:窗口偏移量

根据上述公式可知，当窗口在平坦区域上滑动时，$E(u,v)=0$；如果窗口处于变化剧烈的区域，灰度变化会很大，$E(u,v)$值也会很大。
下面要做的就是找到$E(u,v)$的最大值，对于给定的窗口函数$w(x,y)$，我们就要找到$[I(x+u,y+v)]-I(x,y){]}^2$的最大值。
根据泰勒公式$f(x+u,y+v)\approx$$f(x,y)+u{f}_x(x,y)+v{f}_y(x,y)$
可以得到:
$\sum$$[I(x+u,y+v)]-I(x,y){]}^2\approx$$\sum$$u^2{I}_x^2+2uv{I}_x{I}_y+v^2{I}_y^2$

= $\sum$$\left[\begin{array}{cc}u& v\end{array}\right]$ $\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$ $\left[\begin{array}{c}u\\ v\end{array}\right]$

= $\left[\begin{array}{cc}u& v\end{array}\right]$ ($\sum$$\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$) $\left[\begin{array}{c}u\\ v\end{array}\right]$

这里令Harris矩阵$M=$ ${\sum }_{x,y}$ $w(x,y)$ $\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

则，$E(u,v)=$ $\left[\begin{array}{cc}u& v\end{array}\right]$ $M$ $\left[\begin{array}{c}u\\ v\end{array}\right]$

$I_x$、$I_y$代表图像在x和y方向的导数 ，${\lambda }_1$代表x方向偏导的特征值，${\lambda }_2$代表y方向偏导的特征值。

• 特征值都比较大时，说明窗口中含有角点。
• 特征值一个较大，一个较小时，说明窗口中含有边缘。
• 特征值都比较小时，说明是平坦区域。

用图片表示如下：

4、角度响应
$R=det(M)-k(trace(M){)}^2$
$k$一般取经验值0.04~0.06

• $det(M)={\lambda }_1{\lambda }_2$
• $trace(M)={\lambda }_1+{\lambda }_2$

二、参数说明

cornerHarris(
InputArray src, 
OutputArray dst,
int blockSize,//计算lambda_1、lambda_2的矩阵大小
int ksize,//窗口大小，一般都为三
double k,//表示计算角度响应时候的参数大小，默认为0.04~0.06
int borderType=Border_DEFAULT//阈值t，用来过滤角度响应
)

三、代码演示

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

Mat src, gray_src;
thresh = 130;
max_count = 255;
const char* output_title = "HarrisCornerDetection Result";
void Harris_Demo(int, void*);

int main() {
	src = imread("image path");
	if (src.data) {
		cout << "cout not load image..." << endl;
		return -1;
	}
	namedWindow("input image", WINDOW_AUTOSIZE);
	imshow("output", src);
	namedWindow(output_title, WINDOW_AUTOSIZE);

	cvtColor(src, gray_src, COLOR_BGR2GRAY);
	createTrackbar("Threshold", output_title, &thresh, max_count, Harris_Demo);
	Harris_Demo(0, 0);

	waitKey(0);
	return 0;
}

void Harris_Demo(int, void*) {
	Mat dst, norm_dst, normScaleDst;
	dst = Mat::zeros(gray_src().size(), CV_32FC1);
	
	int blockSize = 2;
	int ksize = 3;
	double k = 0.04;
	cornerHarris(gray_src, dst, blockSize, ksize, k, BORDER_DEFAULT);//dst是一个经计算得到的一个数值图像

	normalize(dst, norm_dst, 0, 255, NORM_MINMAX, CV_32FC1, Mat());//归一化
	convertScaleAbs(norm_dst, normScaleDst);//图像增强

	Mat resultImg = src.clone();
	for (int row = 0; row < resultImg.rows; row++) {
		uchar* currentRow = normScaleDst.ptr(row);
		for (int col = 0; col < resultImg.cols; col++) {
			int value = (int)*currentRow;
			if (value > thresh) {//判断每一个像素点是否大于所取的阈值，如果大于则被认定是角点
				circle(resultImg, Point(col, row), 2, Scalar(0, 0, 255), 2, 8, 0);
			}
			currentRow++;
		}
	}
	imshow(output_title, resultImg);
}

输出结果：