CSCI 512 Lecture-11 Corners

这一讲主要是关于图像中角点检测的一些基本方法。首先需要说明的是，所谓角点检测并不是狭义的只是检测图像中的角，而是在对稳定的兴趣点的的检测中，图像中角点对于探测器的响应通常比较好，从而得到的结果大部分为角点部分，所以称为角点检测。
我们要检测图像I1中某一个兴趣点在图像I2中的位置。如下图所示。

如果两幅图片中兴趣点的强度没有改变的话，我们可以得到

$$I_{1}\left ( x_{i}+u \right )=I_{0}\left ( x_{i} \right )$$
其中 $u$为两个图像块中心的位移。
但是在实际情况中，由于噪声以及其他一些原因，两幅图像不可能精确相等。在这种情况下，最简单的两个图像块的匹配策略，就是计算它们的加权差的平方和（weighted summed squared difference）。
$$E_{WEED}\left ( u \right )={\sum_{}^{i}}w\left ( x_{i} \right )\left [ I_{1}\left ( x_{i}+u \right )-I_{0}\left ( x_{i} \right ) \right ]^{2}$$
我们将 $I_{1}$在 $x_{i}$处泰勒展开，只保留前两项，可以得到
$$I_{0}\left ( x_{i}+\Delta u \right )\approx I_{0}\left( x_{i} \right )+\nabla I_{0}\left(x_{i} \right)\cdot \Delta u$$
因此可以得到
$$\begin{aligned} E\left ( \Delta u \right )&=\sum_{i} w(x_i)[I_0(x_i+\Delta u)-I_0(x_i)]^2\\ &\approx \sum_{i} w(x_i)[\nabla I_0(x_i)\cdot \Delta u]^2\\ &=\Delta u^T A\Delta u \end{aligned}$$
其中
$$A=w*\begin{pmatrix} I^2_x & I_{xy}\\ I_{xy}& I^2_y \end{pmatrix}$$
$$I^2_x=(\frac{\partial I}{\partial x})^2,I_{xy}=(\frac{\partial I}{\partial x})(\frac{\partial I}{\partial y}),I^2_y=(\frac{\partial I}{\partial y})^2$$
我们可以将矩阵 $A$简单地看作如下形式的矩阵。
$$A=\begin{pmatrix} a &b \\ c & d \end{pmatrix}$$
则我们可以将 $E$看作具有如下形式的二次多项式
$$E(x,y)=ax^2+bxy+cy^2$$
根据二次函数的性质，我们可以看出，如果 $a$的值较大的话，则$E$将随着 $x$的变化发生较大的变化，即$E$关于 $x$的函数图象会发生很大的弯曲，对于$y$也是相同的道理。因此，如果 $a$和$c$的值都很大的话，在 $E$的函数图像中将会有一个很好的最小值。但一个问题是如果$b$不是0的话 $E$的图像在对角线方向上可能不变，得不到唯一的最小值。

因此，我们可以根据矩阵$A$的性质判断一个点是否具有很好的稳定性以供匹配。
计算得出 $\Lambda$为 $A$的特征值组成的对角矩阵，$R$为 $A$的特征向量组成的矩阵。
$$\Delta u=R\Delta v$$
$$E=\Delta v^TR^TAR\Delta v=\Delta v^T \Lambda \Delta v$$
则 $E$可以看作具有如下形式
$$E(v_1,v_2)=\lambda_1 v^2_1+\lambda_2 v^2_2$$
如果矩阵 $A$的两个特征值$\lambda_1$和 $\lambda_2$都很大的话，那么该点就是稳定性非常好的兴趣点。
对于矩阵的特征值的评价方式一般有三种：

1. Shi和Tomasi提出的利用特征值的最小值的检测方法
2. Harris和Stephens特出的利用行列式与迹来评价的方法
   $$det(A)-\alpha tr(A)^2=\lambda_0\lambda_1-\alpha(\lambda_0+\lambda_1)^2$$
3. 调和均值法
   $$\frac{det(A)}{tr(A)}= \frac{\lambda_0 \lambda_1}{\lambda_0+ \lambda_1 }$$

匹配兴趣点

发现一个兴趣点后，可以用最小差的平方的方法在另一幅图像中匹配之。

$$\begin{aligned} E(u)&=\sum_{i}[I_1(x_i+u)-I_0(x_i)]^2\\ &=\sum_{i}I_1(x_i+u)^2-2\sum_{i}I_1(x_i+u)I_0(x_i)+\sum_{i}I_0(x_i)^2 \end{aligned}$$
其中中间项相当于 $I_1$和 $I_2$的互相关运算，当 $I_1$和 $I_2$匹配时，中间项很大，从而 $E(u)$得到最小值。