python计算机视觉编程——sift特征提取和ransac减少错配

一、什么是sift算法

SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。它是由David Lowe发明的。SIFT在2004年由Lowe完善并经受住了时间的考验。

SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。
SIFT算法的特点有：

1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

2. 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

3. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；

4. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；

5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT算法可以解决的问题：

目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：

1. 目标的旋转、缩放、平移（RST）

2. 图像仿射/投影变换（视点viewpoint）

3. 光照影响（illumination）

4. 目标遮挡（occlusion）

5. 杂物场景（clutter）

6. 噪声
   SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

构建DOG尺度空间

模拟图像数据的多尺度特征，大尺度轮廓特征，小尺度细节特征。通过构建高斯金字塔（每一层用不同的参数σ做高斯模糊（加权）），保证图像在任何尺度都能有对应的特征点，即保证尺度不变性。

什么是尺度空间（scale space ）？

尺度空间理论最早于1962年提出，其主要思想是通过 对原始图像进行尺度变换，获得图像多尺度下的空间表示。 从而实现边缘、角点检测和不同分辨率上的特征提取，以 满足特征点的尺度不变性。 关键点检测的相关概念 尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标 在视网膜上的形成过程。尺度越大图像越模糊。

…………
关于sift算法使用时所会碰到的相关问题和相关概念为：

• 特征点
• 尺度空间
• 高斯模糊
• 高斯金字塔
• DoG函数
• DoG高斯差分金字塔
• DOG局部极值检测
• 关键点检测和匹配

二、sift算法运用演示

1.1sift算法提取特征点

遇到错误1：

版本python2X和python3X的版本不兼容，所以修改格式即可
遇到错误2：vlfeat的配置sift.exe
要注意cmmd必须一字不错。
下面为使用sift算法和harris角点检测算法对比场景的结果：

from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'E:\\thirddown\computervision\\untitled1\data\\test\\1.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, '1.sift')
l1, d1 = sift.read_features_from_file('1.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角点',fontproperties=font)

show()

运行上面代码，可得下图：

为了将sift和Harris角点进行比较，将Harris角点检测的显示在了图像的最后侧。正如你所看到的，这两种算法选择了不同的坐标。

这次实验我收集了20张图片作为数据集：

角点检测算法无法显示是因为图片大小过大导致invaid不可读。
第一组数据：



第二组数据：



第三组数据：



从多个样本数据的测试中我们可以发现，sift算法和harris角点检测算法所检测出来的特征点有所不同。我从多个角度拍摄同一场景的数据样本，可以从实验结果中看出，虽然在不同尺度，但是标记的sift很类似，体现其局部特征十分稳定，从结果上来看，sift算法比harris的特征点角点保留更多，且harris角点容易尝试数据丢失，这点sift不会，并且sift的效率很高，程序运行速度快。

第一张图和第二张图片是同一个建筑物的不同尺度，但标记的SIFT点在很大程度上相同，比如门和窗这样细小的部分中标记的位置都相似，可以看出SIFT算法的局部特征非常的稳定。
SIFT和Harris 相比较：从结果来直接看，发现SIFT算法的特征点比Harris角点的特征点保留的更多，它需要建立高斯图像金字塔和高斯差分金字塔之后再检测极值，而Harris角点只是对原图进行角点检测和变化，Harris特征点检测存在角点信息丢失与偏移的现象。在运行程序时，与Harris的效率相比，SIFT的效率有大的提升，程序的运行很快。

1.2sift进行两张图像匹配

from PIL import Image
from pylab import *
import sys
from PCV.localdescriptors import sift


if len(sys.argv) >= 3:
  im1f, im2f = sys.argv[1], sys.argv[2]
else:
#  im1f = '../data/sf_view1.jpg'
#  im2f = '../data/sf_view2.jpg'
  im1f = 'E:\\thirddown\computervision\data\\test\\7.jpg'

  im2f = 'E:\\thirddown\computervision\data\\test\\8.jpg'

#  im1f = '../data/climbing_1_small.jpg'
#  im2f = '../data/climbing_2_small.jpg'
im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')
figure()

subplot(121)
sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')
l2, d2 = sift.read_features_from_file('out_sift_2.txt')
subplot(122)
sift.plot_features(im2, l2, circle=False)

#matches = sift.match(d1, d2)
matches = sift.match_twosided(d1, d2)
print ('{} matches'.format(len(matches.nonzero()[0])))

figure()

sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()

第一组：在不同尺度和方位上的匹配

第二组：同样不同尺度，位置左右平移后：


第三组：在不同尺度正侧方位上的另一组数据的测试：


从上面个三组不同的测试展示中我们可以看出在尺度不变性方面上sift算法非常具有优越性，远优于harris角点算法，sift的对应非常准确，在拍摄时对同一物体进行缩放，移动多角度拍摄都可以很好找到对应特征点。

接下来我们对不同的场景进行匹配测试：

没有可以匹配到的特征值，虽然有色彩类似的楼房但是确实不属于同一楼，所以sift算法效率从实验结果上看很高。

1.3sift进行图片检索

# -*- coding: utf-8 -*-
from pylab import *
from PIL import Image

from PCV.localdescriptors import sift
from PCV.tools import imtools
import pydot

""" This is the example graph illustration of matching images from Figure 2-10.
To download the images, see ch2_download_panoramio.py."""

#download_path = "panoimages"  # set this to the path where you downloaded the panoramio images
#path = "/FULLPATH/panoimages/"  # path to save thumbnails (pydot needs the full system path)

download_path ="E:/thirddown/computervision/data/test/"  # set this to the path where you downloaded the panoramio images
path = "E:/thirddown/computervision/data/test/"  # path to save thumbnails (pydot needs the full system path)
# list of downloaded filenames
imlist = imtools.get_imlist(download_path)
nbr_images = len(imlist)

# extract features
featlist = [imname[:-3] + 'sift' for imname in imlist]
for i, imname in enumerate(imlist):
    sift.process_image(imname, featlist[i])

matchscores = zeros((nbr_images, nbr_images))

for i in range(nbr_images):
    for j in range(i, nbr_images)<