计算机视觉学习（二）：特征点提取和匹配相关

1、sift特征原理的描述

  1.1sift概述：

    首先我了解到了兴趣点的概念，兴趣点是图像中明显区别于周围区域的地方，这些兴趣点对于光照、视角相当鲁棒，所以对于图像的兴趣点特征提取的好坏会直接影响到后续分类，识别的精准。而描述子就是对兴趣点提取特征的过程。sift是一种特征描述子。该描述子具有尺度不变性和光照不变性。

  1.2sift特征检测的步骤：

    sift特征检测有四个主要步骤：

      1、尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。

      2、特征点定位：在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度。

      3、特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。

      4、特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变换和光照变换。

  2.1对sift特征检测的理解：

    首先两张照片能够匹配上的前提是他们的 特征点的相似度比较高。

    特征点的检出主要用了DoG，就是把图像做不同的高斯模糊，平滑的区域或点肯定变化不是很大，而纹理复杂的地方比如边缘、点、角之类的区域变化很大，像这样变化很大的点就是特征点，特征点描述就是简单的HOG，就是以检出的特征点为中心选16*16的区域作为local patch，这个区域又可以均分为4*4个子区域，每个子区域中各个像素的梯度都可以分到8个bin里面，这样子就得到了4*4*8=128维度的特征向量。当一个点如果在DoG空间本层以及上下两层的26个领域中是最大值和最小值时，就认为该点是图像在该尺度下的一个特征点。

  

2、sift和Harris特征匹配处理图片的对比

  以下是分别用sift和harris对同一张图片进行特征提取实验的代码：

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'D:/pythonxy/PCV-book-data/data/panoimage/a.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角点',fontproperties=font)

show()

  以下是运行的结果图：