SIFT特征检测：关键点特征描述

领域矿窗口梯度：

为了使描述符具有旋转不变性，需要利用图像的局部特征为给每一个关键点分配一个基准方向。使用图像梯度的方法求取局部结构的稳定方向。对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。梯度的模值和方向如下：

L为关键点所在的尺度空间之，按Lowe的建议，梯度的模值m（x，y）按σ=1.5σ_oc的高斯分布加成，按尺度采样的3σ原则，邻域窗口半径为3×1.5σ_oct。

 

方向直方图的生成：

直方图统计半径为3×1.5σ。即计算以关键点为中心半径3×1.5σ邻域内所有点的梯度方向。

梯度直方图将0~360度的方向范围分为36个柱。累积落到每个方向内的关键点个数加权值，以此生成梯度方向直方图。

将梯度方向直方图中纵坐标最大的项代表的方向分配给当前关键点作为主方向，若在梯度直方图中存在一个相当于主峰值80%能量的峰值，则将这个方向认为是关键点的辅方向。辅方向的设计可以增强匹配的鲁棒性，Lowe指出，大概有15%的关键点具有辅方向，而恰恰试着15%的关键点对稳定匹配起到关键作用。

 

对于每一个关键点，拥有三个信息：位置、尺度以及方向。接下来就是为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。

SIFT描述子是关键点邻域高斯图像梯度统计结果的一种表示。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

Lowe实验表明描述子采用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8=128维向量表征，综合效果最优。

 

下图是一个SIFT描述子实例。其中描述子由2*2*8维向量表征，也就是2*2个8方向直方图组成。左图的种子点由8*8单元组成。每一个小方格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表了像素的幅值。然后在4*4窗口内计算8个方向的梯度直方图，绘制每个梯度方向的累加可形成一个种子点。一个特征点由4个种子点的信息所组成。如图所示：

表示步骤如下：

1.确定计算描述子所需的图像区域

特征描述子与特征点所在的尺度有关，因此，对梯度的求取应在特征点对应的高斯图像上进行。

实际计算所需的图像区域半径为：radius = （3σoct×(d+1)×√2）/2

计算结果四舍五入取整。（σoct为关键点所在组的组内尺度, d=4）

2.将坐标轴旋转为关键点的方向，以确保旋转不变性

旋转后邻域内采样点的新坐标为：

其中

3.在图像半径区域内每个像素点求其梯度幅值和方向，然后对每个梯度幅值乘以高斯权重参数，生成方向直方图。

4.在窗口宽度为2*2的区域内计算8个方向的梯度直方图，绘制每个梯度方向的累加值，即可形成一个种子点。然后在下一个2*2的区域内进行直方图统计，生成下一个种子点，一共生成16个种子点。

5.描述子向量元素门限化以及门限化后的描述子向量规范化。

描述子向量元素门限化：

方向直方图每个方向上的梯度幅值限制在一定门限值之下（一般取0.2）

描述子向量为H=（h1，h2，h3...h128）

归一化后的特征向量为L=（l1，l2，l3...l128）,则有

6描述子向量门限。非线性光照，相机饱和度变化对造成某个方向的梯度值过大，而对方向的影响微弱。因此设置门限值（向量归一化后，一般取0.2）截断较大的幅度值。

至此，SIFT特征描述向量生成。

 

SIFT的缺点

SIFT在图像的不变特征提取方面拥有无与伦比的优势，但并不完美，仍然存在：

实时性差。

有时特征点较少。

对边缘光滑的目标无法准确提取特征点。

如下图所示，对模糊的图像和边缘平滑的图像，检测出的特征点过少，对圆更是无能为力。