Python计算机视觉——SIFT描述子

1 SIFT描述子

1.1SIFT描述子简介

SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

1.2 SIFT算法实现步骤简述

SIFT算法实现特征匹配主要有三个流程，1、提取关键点；2、对关键点附加 详细的信息（局部特征），即描述符；3、通过特征点（附带上特征向量的关 键点）的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。

1.3 SIFT算法可以解决的问题

1 目标的旋转、缩放、平移（RST）
2 图像仿射/投影变换（视点viewpoint）
3 弱光照影响（illumination）
4 部分目标遮挡（occlusion）
5 杂物场景（clutter）
6 噪声

2 关键点检测

2.1SIFT要查找的关键点

是一些十分突出的点不会因光照、尺度、旋转等因素的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。

2.2关键点检测的相关概念

2.2.1尺度空间

主要思想是通过 对原始图像进行尺度变换，获得图像多尺度下的空间表示。从而实现边缘、角点检测和不同分辨率上的特征提取，以满足特征点的尺度不变性。
尺度空间中各尺度图像的 模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程尺度越大图像越模糊。

2.2.2高斯模糊

高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理 效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成 的图像的视觉效果是好像经过一个半透明的屏幕观察图像。可以用高斯模糊来处理图像，得到图像的边缘信息与整体信息。

2.2.3高斯金子塔

高斯金子塔的构建过程可分为两步：
（1）对图像做高斯平滑；
（2）对图像做降采样。

为了让尺度体现其连续性，在简单
下采样的基础上加上了高斯滤波。
一幅图像可以产生几组（octave）
图像，一组图像包括几层
（interval）图像。

2.3关键点检测——DOG

DoG（Difference of Gaussian）函数

DoG在计算上只需相邻高斯平滑后图像相减，因此简化了计算！

DOG局部极值检测

特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点， 每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域 的相邻点大或者小

2.4关键点方向分配

通过尺度不变性求极值点，可以使其具有缩放不变的性质。而利 用关键点邻域像素的梯度方向分布特性，可以为每个关键点指定方向参数 方向，从而使描述子对图像旋转具有不变性。
通过求每个极值点的梯度来为极值点赋予方向。
像素点的梯度表示
梯度幅值：梯度方向：

2.5关键点匹配

关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一 般都采用kd树的数据结构来完成搜索。搜索的内容是以目标图像的关 键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻 近的原图像特征点。Kd树是一个平衡二叉树

2.6代码实现

2.6.1关键点检测

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'E:/picture/02/2.png'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '+c')
axis('off')
title(u'Harris角点',fontproperties=font)

show()

2.6.2 描述子匹配

from PIL import Image
from pylab import *
import sys
from PCV.localdescriptors import sift


if len(sys.argv) >= 3:
  im1f, im2f = sys.argv[1], sys.argv[2]
else:
#  im1f = '../data/sf_view1.jpg'
#  im2f = '../data/sf_view2.jpg'
  im1f = 'E:/picture/02/1-1.png'
  im2f = 'E:/picture/02/1-3.png'
#  im1f = '../data/climbing_1_small.jpg'
#  im2f = '../data/climbing_2_small.jpg'
im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')
figure()
gray()
subplot(121)
sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')
l2, d2 = sift.read_features_from_file('out_sift_2.txt')
subplot(122)
sift.plot_features(im2, l2, circle=False)

#matches = sift.match(d1, d2)
matches = sift.match_twosided(d1, d2)
print ('{} matches'.format(len(matches.nonzero()[0])))

figure()
gray()
sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()

图片角度不同的描述子匹配

尺度不同的描述子匹配

2.7实验结果分析

由实验结果可看出，SIFT点的特点为
1.视角和旋转变化不变性
2.光照不变性
3.尺度不变性
但是在实验过程中发现对模糊的图像和边缘平滑的图像，检测出的特征点过少，对圆更是无能为力

2.8实现数据集中查找匹配数高的图片

代码

from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
import matplotlib.pyplot as plt # plt 用于显示图片


im1f = 'E:/picture/02/new/1.png'
im1 = array(Image.open(im1f))
sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')

arr=[]#单维链表数组
arrHash = {
   }#字典型数组
for i in range(2,7):
    im2f = 'E:/picture/02/new/'+str(i)+'.png'
    im2 = array(Image.open