Harris 特征点原理介绍

Harris 特征点

原理

提出思想

找到一个小区域，该区域无论上下左右如何轻微变化均将导致区域内的图像发生明显的变化。

例如：

1. 角点，不论怎么移动均会导致图像发生较大变化
2. 图像中间点，局部运动时区域内图像内容不变
3. 图像边缘，横向运动时区域内图像内容不变

因此，采用类似的思想提出了Harris角点，具体步骤如下：

• 计算像素值对区域左右移动的导数矩阵，变化剧烈等价于导数大
• 分析矩阵性质，仅当变化最剧烈的两个方向同时具有较大的数值时才表明该区域为角点

区域像素变化速度

设当前窗口中心位置为$(x,y)$,此时的像素灰度值为$I(x,y)$。若该窗口分别向$x$方法和$y$方向移动一个微小的距离$u,v$,到一个新的位置$(x+u,y+v)$。
那么窗口移动导致的像素变化为：
$$I(x+u,y+v)-I(x,y)$$
窗口的各个点权重不一，中间点希望权重大一些，边缘点要小一些，因此定义二元高斯分布$w(x,y)$。最终得到灰度值变化的表达式：
$$E(u,v)=\sum _{(x,y)}w(x,y)\times [I(x+u,y+v)-I(x,y){]}^2$$

对$I(x+u,y+v)$进行泰勒展开，为$I(x+u,y+v)\approx I(x,y)+u{I}_x+v{I}_y$。其中$I_x$与$I_y$为$I$的偏微分，具体定义如下，可通过soble算子等计算得到。
$$I_x=\frac{\partial I(x,y)}{\partial x}{I}_y=\frac{\partial I(x,y)}{\partial y}$$

将像素变化表达式进行化简
$$\begin{array}{rl}E(u,v)& =\sum _{(x,y)}w(x,y)\times [I(x+u,y+v)-I(x,y){]}^2\\ & =\sum _{(x,y)}w(x,y)\times [I(x,y)+u{I}_x+v{I}_y-I(x,y){]}^2\\ & =\sum _{(x,y)}w(x,y)\times (u{I}_x+v{I}_y{)}^2\\ & =\sum _{(x,y)}w(x,y)\times (u^2{I}_x^2+v^2{I}_y^2+2uv{I}_x{I}_y)\end{array}$$

用矩阵的形式表达为：
$$E(u,v)=[u,v]\sum _{(x,y)}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]$$

因此，定义矩阵M表达像素变化的速度
$$M=\sum _{(x,y)}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$$

分析矩阵性质

计算矩阵特征值
$$M=R^{-1}\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]R$$

其中两个特征值${\lambda }_1,{\lambda }_2$分别代表着导数变化最快的两个方向，当两个方向均很大时则说明该点是角点。为了简化计算，避免特征值的求解定义角点响应函数
$$R=\det M-k(trace(M){)}^2$$
其中$\det M={\lambda }_1{\lambda }_2$为矩阵行列式，而$trace(M)={\lambda }_1+{\lambda }_2$为矩阵的迹
仅当二者都很大时能够取得较大的R数值。

1. ${\lambda }_1,{\lambda }_2$都很小，则R很小
2. ${\lambda }_1,{\lambda }_2$一个很大一个很小，则R为负数
3. ${\lambda }_1,{\lambda }_2$都很大，则R很大

Shi-Tomasi 改进

由于表达式$R=\det M-k(trace(M){)}^2$中的系数$k$难以确定，因此Shi-Tomasi提出采用如下的评价标准：
$$R=\min ({\lambda }_1,{\lambda }_2)$$

此外对于非极大值抑制采用了如下的方法。

1. 对所有特征点的角点系数进行排序
2. 取最大值，并删除最大值周围的特征点
3. 重复取设定的特征点个数

最终提取得到特征点如图

总结

从像素变化的角度定义了角点，具有较为优良的特性。

• 旋转不变性
• 光照不变性

缺少：

• 尺度不变性