SIFT算法整理（本人）

一、参考：

https://www.zhihu.com/question/19911080

SIFT解析（一）建立高斯金字塔

http://blog.csdn.net/alecsophia/article/details/17509195

SIFT解析（二）特征点位置确定

http://blog.csdn.net/honpey/article/details/8639634

SIFT解析（三）生成特征描述子:

http://blog.csdn.net/honpey/article/details/8639643

 

 

二、SIFT算法介绍

SIFT（Scale-Invariant Feature Transform）：尺度不变特征转换。在目标识别、图像配准领域具有广泛的应用。

一个好的特征向量要具备平移不变性，旋转不变性，尺度不变性。

就是说，平移同一个物体，旋转同一个物体，高清或模糊图像中的同个物体，都应该能识别出来是同一个物体。

图像金字塔很好地解决图像特征的尺度不变性问题。

 

三、高斯金字塔

SIFT里高斯金字塔实际上是作者用来模拟一个图片的不同尺度的情况，从而形成这张图片的一个尺度空间，我们知道，当一个物体由近到远时，物体的细节信息慢慢消失，最后只留下一些轮廓之类的很粗糙的信息，而高斯金字塔中的高斯模糊和降采样都是在模拟物体细节信息慢慢消失。我想到的更直观一点的想法是这样的：物体由近到远时，看上去会变得更小更模糊，而降采样就是在模拟更小，高斯则是在模拟模糊。

 

高斯金字塔的构建步骤：

Ø  首先将图像扩大一倍，在扩大的图像的基础之上构建高斯金字塔；

Ø  对该尺寸下图像进行高斯模糊，几幅模糊之后的图像集合构成了一个八度（每个八度有s+3幅高斯图像，例如s=3）；

Ø  对该八度下的最模糊的一幅图像进行下采样的过程，长和宽分别缩短一倍，图像面积变为原来四分之一；

 

四、差分高斯金字塔

构建高斯金字塔是为了后续构建差分高斯金字塔。对同一个八度的两幅相邻的图像做差得到差值图像，所有八度的这些差值图像的集合，就构成了差分高斯金字塔。

过程如下图所示，差分高斯金字塔的好处是为后续的特征点的提取提供了方便。

DOG（Difference of Gaussian）高斯函数的差分

 

 

五、尺度空间的连续性

如果差分高斯金字塔中有s+2幅图像，那么高斯金字塔中就必须要有s+3幅图像，因为差分高斯金字塔是由高斯金字塔相邻两层相减得到的。

我们要在每个八度中求s层点。

 

高斯图像和差分高斯图像的尺度如下：

 

六、特征点位置确定：

前面构建高斯金字塔的目的是找到极值点。

为什么使用差分高斯金字塔：

Ø  差分高斯图像可以直接由高斯图像相减获得，简单高效；

Ø  差分高斯函数是尺度规范化的高斯拉普拉斯函数的近似，而高斯拉普拉斯函数的极大值和极小值点是一种非常稳定的特征点（与梯度特征、Hessian特征和Harris角点相比）

 

特征点的确定主要包括以下过程：

Ø  确定潜在特征点

Ø  精确确定特征点的位置

Ø  去除不稳定特征点

 

七、生成特征描述子：

1、  确定特征点的方向：

Ø  在特征点的确定过程中，特征点的坐标以及尺度被确定下来（坐标很重要，尺度更重要）；

Ø  因为正是运用尺度参量实现的Scale-Invariant；

Ø  根据特征点的尺度选择高斯金字塔中的图像，然后在这幅图像上确定该特征点的方向。这里体现的正是尺度不变的思想。

Ø  特征点方向的确定基于统计信息，以该特征点为中心，考察与该特征距离为**像素的梯度方向和梯度的幅值

Ø  构造该点邻域梯度方向直方图，将一圆周360°划分成36个槽，从0°开始每槽递增10°。根据邻域点的方向、梯度的幅值以及距离特征点的远近构建上述梯度方向直方图，如下图所示：

Ø  根据梯度直方图，直方图峰值所对应的的角度就是当前特征点A的方向

 

 

2、  生成图像局部描述符：

1)        到了本步骤，图像中每个特征点的坐标、尺度以及方向都确定了，下面开始根据这些信息获得描述子。

2)        生成描述子也是根据以特征点为中心的图像局部信息，首先根据特征点的尺度选择高斯金字塔中的图像，然后计算特征点邻域范围内各点的梯度方向和梯度的幅值，并根据上文得到的特征点梯度方向更新这些梯度的方向，以此达到描述子的方向不变性。

3)        方向不变性完成后，开始计算特征描述符了。描述符计算过程同样基于梯度方向直方图，只是这次直方图的槽是以45°划分的（因此每个直方图只有8个槽），而不是10°。具体过程如下图所示：

4)        统计每个4×4块的方向梯度直方图，为了去除光照对描述子的影响，对梯度直方图进行归一化处理。然后将每个直方图槽数据串联即可得到SIFT描述子,生成128维SIFT特征向量，如下图所示：

 

八、术语感念：

1、  图像的梯度：

梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像成为梯度图像。

2、  待续

九、待续