计算机视觉—sift描述子

计算机视觉—sift描述子

一、算法简介

近年来，提高特征描述点检测与描述有了很大的发展，下面我们会看这其中最好的算法之一——SIFT。
SIFT算法可以解决的问题
• 目标的旋转、缩放、平移（RST）
• 图像仿射/投影变换（视点viewpoint）
• 弱光照影响（illumination）
• 部分目标遮挡（occlusion）
• 杂物场景（clutter）
• 噪声

二、算法原理

1.检测尺度空间极值
其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的空间表示。 从而实现边缘、角点检测和不同分辨率上的特征提取，以 满足特征点的尺度不变性。尺度空间中各尺度图像的 模糊程度逐渐变大，能够模拟 人在距离目标由近到远时目标 在视网膜上的形成过程。一个 图像的尺度空间，L(x, y, σ) ,定义为原始图像 I(x, y)与一个可变尺度的2 维高斯函数G(x, y, σ) 卷积运算。
$$G（x_i,y_i,\sigma )=1/2\pi {\sigma }^{2}exp[-((x-x_i{)}^2+(y-y_i{)}^2/2{\sigma }^2)]L(x,y,\sigma )=G(x,y,\sigma )\ast I(x,y)$$
2.高斯金字塔
高斯金字塔的构建过程可分为两步：
（1）对图像做高斯平滑；
（2）对图像做降采样。
为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave） 图像，一组图像包括几层 （interval）图像。

高斯图像金字塔共o组、s层，
则有：(s)=σ_02^s/S
σ:尺度空间坐标；
s:sub-level层坐标；
σ_0:初始尺度；
S:每组层数（一般为3~5）
最后可将组内和组间尺度归为：2^i-1(σ,kσ,k2σ,…,k^n-1σ)
i:金字塔组数
n:每一组的层数

3.关键点检测DoG
L (x,y,σ) =G (x,y,σ)∗I(x,y)
D (x,y,σ)=[G(x,y,kσ)−G(x,y,σ)]∗I(x,y)=L(x,y,kσ)−L(x,y,σ)
DoG在计算上只需相邻高斯平滑后图像相减，因此简化了计算。
对应DOG算子，需构建DOG金字塔可以通过高斯差分图 像看出图像上的像素 值变化情况。（如果 没有变化，也就没有 特征。特征必须是变 化尽可能多的点。） DOG图像描绘的是目 标的轮廓。

4.DOG局部极值检测
DoG的局部极值点
特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点， 每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域 的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个 点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

去除边缘响应
由于DoG函数在图像边缘有较强的边缘响应，因此需要排除边缘响应。 DoG函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有 较小的主曲率。主曲率可以通过计算在该点位置尺度的2×2的Hessian矩 阵得到，导数由采样点相邻差来估计：

6.方向直方图的生成
确定关键点的方向采用梯度直方图统计法，统计以关键点为原 点，一定区域内的图像像素点对关键点方向生成所作的贡献。确定关键点的方向采用梯度直方图统计法，统计以关键点为原 点，一定区域内的图像像素点对关键点方向生成所作的贡献。

关键点主方向：极值点周围区域梯度直方图的主峰值也是特征点方向 • 关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值 80%能量的峰值时，则将这个方向认为是该关键点的辅方向。 这可以增强匹配的鲁棒性，Lowe的论文指出大概有15%关键点具有 多方向，但这些点对匹配的稳定性至为关键。
7.关键点描述
下图是一个SIFT描述子事例。其中描述子由2×2×8维向量表征，也即是 2×2个8方向的方向直方图组成。左图的种子点由8×8单元组成。每一个小格 都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方 向，箭头长度代表该像素的幅值。然后在4×4的窗口内计算8个方向的梯度方 向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特 征点由4个种子点的信息所

组成。
Lowe实验结果 表明：描述子 采用4×4×8＝ 128维向量表征， 综合效果最优 （不变性与独 特性）

8.关键点匹配
分别对模板图（参考图，reference image）和实时图（观测图， observation image）建立关键点描述子集合。目标的识别是通过两点 集内关键点描述子的比对来完成。具有128维的关键点描述子的相似 性度量采用欧式距离。

三、代码实现和分析

3.1sift特征提取 （检测感兴趣点）

为了计算图像的SIFT特征，我们用开源工具包VLFeat。用Python重新实现SIFT特征提取的全过程不会很高效，而且也超出了本书的范围。VLFeat可以在www.vlfeat.org上下载，它的二进制文件可以用于一些主要的平台。这个库是用C写的，不过我们可以利用它的命令行接口。此外，它还有Matlab接口。

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'D:\PyCharm Community Edition 2018.2.3\siftpictures\B1.jpg'  #图片路径
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'B1.sift')
l1, d1 = sift.read_features_from_file('B1.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征', fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度', fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot<