OpenCV2学习笔记（十）：特征点检测之Harris法

在计算机视觉中，特征点的概念被大量用于解决物体识别、图像匹配、视觉跟踪、三维重建等问题，比如图像中物体的角点，它们是在图像中可被轻易而精确地定位的二维特征。顾名思义，特征点检测的思想是无需观察整幅图像，而是通过选择某些特殊点，然后对它们执行局部分析。如果能检测到足够多的这种点，同时它们的区分度很高，并且可以精确定位稳定的特征，那么这个方法就很有效。这里主要使用Harris特征检测器检测图像角点。开发平台为Qt5.3.2+OpenCV2.4.9。

在此之前，先给出OpenCV中cv::cornerHarris函数的调用方式：

    cv::cornerHarris(image, // 输入图像
                     cornerStrength, // 输出为表示角点强度的32位浮点图像
                     3, // 导数平滑的相邻像素的尺寸
                     3, // 梯度计算的滤波器孔径大小
                     0.01); // Harris参数

描述Harris算子的经典论文可参考：

The article by C.Harris, M.J. Stephens, A Combined Corner and Edge Detector, Alvey Vision Conference, pp.147-152, 1988

The article by J. Shi and C. Tomasi, Good features to track, Int. Conference on Computer Vision and Pattern Recognition, pp. 593-600, 1994

The article by K. Mikolajczyk and C. Schmid, Scale and Affine invariant interest point detectors, International Journal of Computer Vision, vol 60, no 1, pp. 63-86, 2004

在第一篇论文中提到，Harris角点检测最直观的解释是在任意两个相互垂直的方向上，都有较大变化的点。为了定义一幅图像中的角点，Harris观察一个假定的特征点周围小窗口内的方向性强度平均变化。

如图所示，假设一个小窗口在图像上移动，在平滑区域如左图所示，窗口在各个方向上均没有变化。对于中间图，小窗口在边缘的方向上移动时也没有变化。而知道小窗口移动到右图的角点处，窗口在各个方向上均有明显的变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否存在着角点。这里我们考虑偏移量(u,v)，则将图像窗口平移(u,v)产生的E(u,v)可表示为：

由以下公式可得到E(u,v)：

对于局部微小的移动，E(u,v)可近似表达为：

其中M的详细表达式为：

E(u,v)的椭圆形式如下：

E(u,v)是一个协方差矩阵，表现的是所有方向上强度的变化率。该定义涉及图像的一阶导数，这通常是Sobel算子的计算结果。而在OpenCV中cv::cornerHarris函数的第四个参数对应的正是用于计算Sobel滤波器的孔径(aperture)。协方差的两个特征值给出了最大平均强度变化以及垂直方向上的平均强度变化，如果这两个特征值均较低，就认为当前是同质区域；如果其中一个特征值较高，另外一个较低，则认为当前位于边缘上；最后，若两个特征值均较高，则判定当前位于角点处。

因此，定义角点响应函数R，其中k为函数cv::cornerHarris中的最后一个参数；之后，对R进行阈值处理，设定若R大于阈值threshold，则提取出局部极大值：

Harris角点的更多的理论部分可见：
http://blog.csdn.net/lu597203933/article/details/15088485
http://blog.csdn.net/xiaowei_cqu/article/details/7805206。

下面记录一下harris角点检测的几种方案。

一、基本的Harris角点检测实现

#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>