Distinctive Image Features from Scale-Invariant Keypoints

论文下载

Abstract

本文提出了一种具有高度不变性的特征点信息提取方案，该方案提取的特征信息点对尺度信息和旋转信息多具有很强的不变性，通过对光度变化具有嗯好的适应性，同时文中通过对应的特征信息的匹配操作对物体进行识别，对指定的物体字啊大数据量的环境下可以事项精准的识别。

Introduction

这部分主要对文中提出的特征点的提取方案相关步骤进行了大致的介绍。
1. Scal-space extrema deetection:
对尺度空间进行高斯差分图层的构建，这样操做是为了使得特征提取对尺度以及旋转具有较强的不变性。
2. Keypoint localization:
通过对候选的关键点进行进一步的筛查保证特征点的稳定性。
3. Orientation assignment:
通过对特征点配置一个或多个方向确保尺度、方向和局部信息的不变性。
4. Keypoint descriptor:
特征点的描述信息由特征点附近的梯度信息构成。
文中通过对原始的图像信息提取大量的特征点信息并通过对特征信息的描述子向量的欧式距离信息进行对比实现有效的匹配。主要的步骤是通过最小二乘对不合理点进行踢除，最后通过算法实现对匹配特征点之间的有效匹配操作。

Related research

该部分对之前各种的特征点的提取方案进行介绍，多种方案中都有各自不同的优缺点。

Detection of scale-space extrema

该部分描述的也是文中的一个重点，是对尺度空间的介绍，从实际经验出发，对一个特定物体的观测，从不同的距离出发会有不同的精度和大小，于是为了实现更好的匹配通过高斯卷积核和对图像信息进行大小缩放构建尺度空间实现对每一个尺度下的试探性匹配，对应的通过高斯卷积核实现的图像处理公式为$$L(x,y,\sigma )=G(x,y,\sigma )\ast I(x,y)$$其中，卷积核函数为$$G(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}{e}^{-(x^2+y^2)/2{\sigma }^2}$$
对应的差分空间函数为$$D(x,y,\sigma )=L(x,y,k\sigma )-L(x,y,\sigma )$$
差分高斯函数的选取原因包括方便获取，且之前的研究表明${\sigma }^2{\nabla }^{2}G$的极值位置对应的是稳定的特征点，且有公式$$\begin{gathered} \frac{\partial G}{\partial \sigma }=\sigma {\nabla }^{2}G\approx \frac{G(x,y,k\sigma )-G(x,y,\sigma )}{k\sigma -\sigma } \\ G(x,y,k\sigma )-G(x,y,\sigma )\approx (k-1){\sigma }^2{\nabla }^{2}G \end{gathered}$$其中参数$k$对应的是每层高斯卷积核对应的参数，他的大小对结果带来的影响相对较少。

Local extrema detection
通过对差分高斯函数的26个临近的尺度空间像素信息进行比较，获得极值信息，作为特征信息的候选像素点。

Frequency of sampling in scale
通过对32张图片信息进行各种尺度变换、方向信息变换、亮度调整等操作，验证文中提出的方法的不变性。
Frequency of sampling in the spatial domain
为了更加有效的实现对不同尺度下的特种呢个信息进行提取，需要保证尺度空间的平滑性，且为了保证在原始空间上提取足够的特征信息，在尺度空间建立之初对原始图像信息进行扩充。

Accurate keypoint localization

该部分是对特征点位置信息进行精准的计算，将差分高斯函数图层中的像素信息进行泰勒展开$$D(x)=D+\frac{\partial D^T}{\partial x}x+\frac{1}{2}{x}^T\frac{{\partial }^{2}D}{\partial x^2}x$$求解极值，对应局部极值的坐标信息为$$\hat{x}=-\frac{{\partial }^2{D}^{-1}}{\partial x^2}\frac{\partial D}{\partial x}$$对于各个维度梯度都比较大的情况需要进行插值信息处理，通过$D(\hat{x})=D+\frac{1}{2}\frac{\partial D^T}{\partial x}\hat{x}$表示特征点的稳定性，将稳定性相对较低的特征点踢除。
Eliminating edge responses
由于差分高斯函数对边界十分敏感，为了避免边界对结果造成的影响我们需要对候选特征信息位置的主曲率比值进行判别，某一个特征点附近的海森矩阵表示为$$\begin{gathered} H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right] \\ {T}_r(H)=D_{xx}+D_{yy} \\ Det(H)=D_{xx}{D}_{yy}-(D_{xy}{)}^2 \end{gathered}$$通过检测$\frac{T_r(H{)}^2}{Det(H)}<\frac{(r+1{)}^2}{r}$避免边界对结果造成的影响。

Orientation assignment

定义特征点信息的梯度大小和方向信息：$$\begin{gathered} m(x,y)=\sqrt{(L(x+1,y)-L(x-1,y){)}^2+(L(x,y+1)-L(x,y-1){)}^2} \\ \theta (x,y)=ta{n}^{-1}((L(x,y+1)-L(x,y-1))/((L(x+1,y)-L(x--1,y))) \end{gathered}$$
文中将主轴方向分为36个格，选出其中的主轴方向和足够高的辅轴方向。

The local image descriptor

对于特征信息的描述信息必须保证有足够分辨度的描述符进行匹配。
Descriptor representation
通过对特征点附近的像素信息进行梯度提取，通过将4*4的网格中包含的所有梯度信息进行叠加并分再所在区域的8个方向中实现对特征点周围的描述信息的精准描述，为了避免突变的梯度信息对结果造成大的影响对梯度信息进行阈值限制。
Descriptor testing
验证不同的描述子对应的匹配质量。
Sensitivity to affine change
这一部分描述了在不同的图像变换操作之下特征信息的匹配效果。
Matching to large databases
这一部分对指定特征信息在大量候选数据中的识别效果。

Application to object recognition

通过对特定的待识别物体中包含的特征信息进行特征匹配实现物体的识别。
Keypoint matching
该部分定义了怎样实现精准的特征信息的匹配，通过定义非匹配物体对应的特征信息作为次匹配距离，通过对比次匹配最优来对错误匹配进行删减，同时对匹配评分小于0.8的特征点对进行删除，保证正确的匹配。
Efficient nearest neighbor indexing
通过结合KDtree和BBF算法实现有效的特征点匹配。
Clustering with the Hough transform
通过进行霍夫变换对同一物体中的特征信息进行识别，对物体实现有效的识别。
Solution for affine parameters
通过精准的特征信息的匹配实现对物体之间的相似变换，同时通过最小二乘算法实现对不合理点的踢除工作。

Recognition examples

对图像中的大量物体进行了识别操作。

Conclusions

文总提出了一种具有高度不变性的特征信息提取方式，通过对该方式对物体识别和位姿信息定位都有很强的现实意义。

Acknowledgments

链接
SIFT特征分析与源码解读
SIFT特征点提取
Distinctive Image Features from Scale-Invariant Keypoints-SIFT算法译文