Harris角点检测、Sift图像特征匹配、地理特征匹配

Harris角点检测

什么是角点

下面有两幅不同视角的图像，通过找出对应的角点进行匹配。

角点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。

我们可以直观的概括下角点所具有的特征：

• 轮廓之间的交点；
• 对于同一场景，即使视角发生变化，通常具备稳定性质的特征；
• 该点附近区域的像素点无论在梯度方向上还是其梯度幅值上有着较大变化；

角点检测算法基本思想

算法基本思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。

角点检测算法基本原理

当窗口发生[u,v]移动时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：
[u,v]是窗口的偏移量
(x,y)是窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置
w(x,y)是窗口函数，最简单情形就是窗口内的所有像素所对应的w权重系数均为1。但有时候，我们会将w(x,y)函数设定为以窗口中心为原点的二元正态分布。如果窗口中心点是角点时，移动前与移动后，该点的灰度变化应该最为剧烈，所以该点权重系数可以设定大些，表示窗口移动时，该点在灰度变化贡献较大；而离窗口中心(角点)较远的点，这些点的灰度变化几近平缓，这些点的权重系数，可以设定小点，以示该点对灰度变化贡献较小，那么我们自然想到使用二元高斯函数来表示窗口函数，所以通常窗口函数有如下两种形式：

根据上述表达式，当窗口处在平坦区域上滑动，可以想象的到，灰度不会发生变化，那么E(u,v) = 0；如果窗口处在比纹理比较丰富的区域上滑动，那么灰度变化会很大。算法最终思想就是计算灰度发生较大变化时所对应的位置，当然这个较大是指针任意方向上的滑动，并非单指某个方向。
I(x+u,y+v)泰勒展开可得：

当发生微小位移时，忽略无穷小量，写成矩阵形式：

所以E(u,v)表达式可以更新为：

矩阵M为:

M分解可得：

可以得出下列结论：
特征值都比较大时，即窗口中含有角点
特征值一个较大，一个较小，窗口中含有边缘
特征值都比较小，窗口处在平坦区域

可以通过判断R的值来判断某个点是不是角点了。

角点：R为大数值整数
边缘：R为大数值负数
平坦区：绝对值R是小数值

Harris角点检测代码

# -*- coding: utf-8 -*-
from pylab import *
from PIL import Image
from PCV.localdescriptors import harris
# 读入图像
im = array(Image.open('photo/photo1.jpg').convert('L'))

# 检测harris角点
harrisim = harris.compute_harris_response(im)

# Harris响应函数
harrisim1 = 255 - harrisim
figure()
gray()
#画出Harris响应图
subplot(141)
imshow(harrisim1)
axis('off')
axis('equal')
# 阈值
threshold = [0.01, 0.05, 0.1]
for i, thres in enumerate(threshold):
    filtered_coords = harris.get_harris_points(harrisim, 6, thres)
    subplot(1,