特征提取之SIFT（尺度不变性特征变换）

SIFT（Scale-invariant feature transform，尺度不变性特征变换）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下：

---

算法描述

整个算法分为以下几个部分：

1.构建尺度空间

尺度空间理论目的是模拟图像数据的多尺度特性，高斯卷积核是实现尺度变换的唯一卷积核，于是一副二维图像的尺度空间定义为：

$$L(x,y,\sigma) = G(x,y,\sigma)*I(x,y)$$ 其中， $G(x,y,\sigma)$是尺度可变的高斯函数， $G(x,y,\sigma)=\frac{1}{2\pi \sigma^2}e^{-(x^2+y^2)}/2\sigma^2$， $(x,y)$是空间坐标， $\sigma$是尺度坐标。 $\sigma$大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的 $\sigma$值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。构造高斯差分尺度空间(DOG scale-space):

$$D(x,y,\sigma) = (G(x,y,k\sigma)-G(x,y,\sigma))*I(x,y) = L(x,y,k\sigma)-L(x,y,\sigma)$$

下图所示不同σ下图像尺度空间：

关于尺度空间的理解说明：$2kσ$中的2是必须的，尺度空间是连续的。在 Lowe的论文中 ，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以 Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。

图像金字塔的建立：对于一幅图像I，建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。

由图片size决定建几个塔，每塔几层图像(S一般为3-5层)。0塔的第0层是原始图像(或你double后的图像)，往上每一层是对其下一层进行Laplacian变换（高斯卷积，其中$σ$值渐大，例如可以是$σ, k*σ, k*k*σ$…），直观上看来越往上图片越模糊。塔间的图片是降采样关系，例如1塔的第0层可以由0塔的第3层downsample得到，然后进行与0塔类似的高斯卷积操作。

---

2.检测尺度空间极值点

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点，如图所示。

在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像。

---

3.精确定位极值点

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力，在这里使用近似Harris Corner检测器。

(1) 空间尺度函数泰勒展开式如下：

D(x,y,σ)=D(x,y,σ)+∂DT∂xx+12xT∂2DT