SIFT特征提取与检索

1、SIFT特征提取算法介绍

1.1 算法综述

尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

1.2 算法特性

1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

2. 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

3. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；

4. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；

5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

1.3 主要步骤

1. 建立尺度空间，即建立高斯差分(DoG)金字塔
2. 在尺度空间中检测极值点，并进行精确定位和筛选创建默认大小的内存存储器
3. 特征点方向赋值，完成此步骤后，每个特征点有三个信息：位置、尺度、方向
4. 计算特征描述子

2、SIFT特征提取

2.1 实现代码

# -*- coding: utf-8 -*-

from PIL import Image

from pylab import *

from PCV.localdescriptors import sift

from PCV.localdescriptors import harris

# 添加中文字体支持

from matplotlib.font_manager import FontProperties

font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'picture1.jpg'

im = array(Image.open(imname).convert('L'))

sift.process_image(imname, 'picture1.sift')

l1, d1 = sift.read_features_from_file('picture1.sift')

figure()

gray()

subplot(131)

sift.plot_features(im, l1, circle=False)

title(u'SIFT特征', fontproperties=font)

subplot(132)

sift.plot_features(im, l1, circle=True)

title(u'用圆圈表示SIFT特征尺度', fontproperties=font)

# 检测harris角点

harrisim = harris.compute_harris_response(im)

subplot(133)

filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)

imshow(im)

plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')

axis('off')

title(u'Harris角点', fontproperties=font)

show()

2.2 实现结果

1. 图片较简单
   
   2）图片较复杂
   

2.3 实现小结

由图可以看出，SIFT可以检测出较多的特征点。通过两种算法的比较可以看出，两种算法所选特征点的位置是不同的，SIFT算法比起Harris算法，提取图像的特征点更加准确全面精准，更具有稳健性，效果上比起Harris算法更好。但是SIFT算法的运行速度相对来说慢很多，实时性不高。

3、两图片SIFT特征匹配

3.1 实现代码

from PIL import Image

from pylab import *

import sys

from PCV.localdescriptors import sift

if len(sys.argv) >= 3:

    im1f, im2f = sys.argv[1], sys.argv[2]

else:

    im1f = 'picture3.jpg'

    im2f = 'picture4.jpg'

im1 = array(Image.open(im1f))

im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')

l1, d1 = sift.read_features_from_file('out_sift_1.txt')

figure()

gray()

subplot(121)

sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')

l2, d2 = sift.read_features_from_file('out_sift_2.txt')

subplot(122)

sift.plot_features(im2, l2, circle=False)

# matches = sift.match(d1, d2)

matches = sift.match_twosided(d1, d2)

print('{} matches'.format(len(matches.nonzero()[0])))

figure()

gray()

sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)

show()

3.2 实现结果

1）两图片差异较小

2）两图片差异较大