【计算机视觉】SIFT特征提取与检索

实验一：SIFT算法

1.SIFT算法基本原理

SIFT，即尺度不变特征变换(Scale-invariant feature transform，SIFT)，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

1.1算法的特点

1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性;
2. 区分性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配;
3. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量;
4. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求;
5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

1.2算法应用的基本步骤

1.2.1特征提取

1. 尺度空间极值检测:
   搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
2. 关键点定位
   在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
3. 方向确定
   基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
4. 关键点描述
   在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

1.2.2特征匹配

SIFT特征匹配主要包括2个阶段:

第一阶段:SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。
具体步骤：

1. 构建尺度空间，检测极值点，获得尺度不变性。
2. 特征点过滤并进行精确定位。
3. 为特征点分配方向值。
4. 生成特征描述子。
   以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。

第二阶段:SIFT特征向量的匹配。
当两幅图像的SIFT特征向量生成以后，下一步就可以采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图1的某个关键点，通过遍历找到图像2中的距离最近的两个关键点。在这两个关键点中，如果最近距离除以次近距离小于某个阈值，则判定为一对匹配点。

1.3相关步骤的函数具体实现

1.3.1构造尺度空间

将尺度空间应用到图像中是为了更好的表达图像的细节信息。
空间定义为：
高斯函数：

DOG函数：

L(x,y,σ)=G(x,y,σ)∗I(x,y)
D(x,y,σ)=[G(x,y,kσ)−G(x,y,σ)]∗I(x,y)=L(x,y,kσ)−L(x,y,σ)

其中G(x.y,σ)是尺度可变高斯函数，(x,y)是空间坐标， σ是尺度坐标。D(x,y,σ)表示相邻两尺度空间函数之差，即高斯差分尺度空间。该函数在计算上只需相邻高斯平滑后图像相减，因此简化了计算。
L(x,y,σ)表示图像的高斯尺度空间，σ称为尺度空间因子，它是高斯函数标准差，反映了图像的模糊程度，其值越大图像越模糊，对应的尺度也就越大。

1.3.2关键点的确定

一个SIFT关键点由4个参数确定: k(x,y,r,θ)
SIFT在多尺度空间检测关键点，确定关键点的位置和尺度，保证了关键点的尺度不变性；利用关键点邻域像素的梯度分布来确定关键点的方向，保证关键点的旋转（方向)不变性。

2.SIFT算法实现与分析

2.1实验基本数据集

2.2SIFT特征提取

实现数据集中，每张图片的SIFT特征提取，并展示特征点

2.2.1实验代码

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = (r'D:\testdata\SIFT1\1.png')
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角点',fontproperties=font)

show()

2.2.2实验结果

• 第一组 两个独立图片
  
  

• 第二组 相似图
  
  
  
  
  
  

• 第三组 相似图片
  
  

• 第四组 相似图片
  
  
  
  
  

2.2.3实验分析

通过同时显示用sift和Harris算法进行特征点提取，可以明显地看出通过sift算法标志出的特征点比较稳定，相似图片的特征选取基本一致对应。但Harris角点检测算法会出现不稳定情况，在本次实验和上次实验中均有出现部分图片无法显示角点。

2.3SIFT特征匹配（对比harris算法匹配）

给定两张图片，计算其SIFT特征匹配结果

2.3.1实验代码

#sift算法
from PIL import Image
from pylab import *
import sys
from PCV.localdescriptors import sift

if len(sys.argv) >= 3:
    im1f, im2f = sys.argv[1], sys.argv[2]
else:
    #  im1f = '../data/sf_view1.jpg'
    #  im2f = '../data/sf_view2.jpg'
    im1f = (r'D:\testdata\SIFT1\11.png')
    im2f = (r'D:\testdata\SIFT1\12.png')
#  im1f = '../data/climbing_1_small.jpg'
#  im2f = '../data/climbing_2_small.jpg'
im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')
figure()
gray()
subplot(121)
sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')
l2, d2 = sift.read_features_from_file('out_sift_2.txt')
subplot(122)
sift.plot_features(im2, l2, circle=False)

# matches = sift.match(d1, d2)
matches = sift.match_twosided(d1, d2)
print('{} matches'.format(len(matches.nonzero()[0])))
figure()
gray()
sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()


#Harris
 # -*- coding: utf-8 -*-
from pylab import *