描述子设计方法介绍

摘要

前文中我们介绍了兴趣点是如何检测和最新的改进思路，这里我们介绍下局部描述子设计的方法，其主要是通过提取兴趣点周围区域的特征，然后将特征描述成向量形式（即描述子），目前看来兴趣点周围区域的特征提取过程，一般都是采用采样局部点（区域）的特征的方法，然后将兴趣点整个区域内所以采样点（区域）的特征组合在一起。如SIFT方法先将兴趣点附近分成了4*4的小块，然后统计这16个块中每块的8个方向梯度值，总共构成了一个128位的向量（SIFT方法的描述子设计方法网上太多，不再详细介绍了）。局部描述子能充分反映兴趣点附近的结构，同时对于目标阻挡等情况有非常好的鲁棒性，所以本文以下主要介绍局部描述子的设计方法（顺便提一下，全局描述子主要包括了颜色、纹理等信息）

那么由此以来，局部描述子设计主要是分为三个方面（或者说大概能进行三个方面的改进）。第一，选择什么样的兴趣点区域的采样点位置。第二，提取采样点什么样的特征。第三，提取的特征如何进行选择，或者说对于高维的特征向量如何进行降维。

一、采样点的特征

SIFT采用的是提取块区域内8个方向的梯度直方图bin值，而SURF方法则是提取区域内的x,y方向梯度和及其绝对值和共4个量，所以其特征向量只有64位（不过SURF-128则根据其方向梯度符号分类，每个区域形成了8个量）。对于SIFT方法另一改进方法是GLOH方法，其不仅考虑到方向，引入了方向的大小因素，其将方向梯度坐标不仅按方向分成8份，而且按大小分成三个圆环，共分成了17个区域，所以一个区域的表示向量有17位（SIFT是8位），其在方向梯度坐标系中分割区域如下：

对于SURF方法一种改进是考虑在高斯平滑过程中对于梯度失真问题（其边缘被模糊），所以G-SURF（Gauge-SURF）方法不提取关于x，y方向的梯度，而提出关于梯度方向及垂直方向的梯度（分别指边缘方向及模糊方向），防止边缘信息因为高斯平滑而丢失，从而更多保留了信息，如下图所示。不过针对边缘被模糊问题，PM方法和一些利用扩散函数方法也被提出。

除了这类方法以外，近年来针对于二进制描述子的方法倍受关注（如ORB，BRISK，FREAK，BRIEF，LDB，KAZE等），这类方法是基于这样的原理：图像块可以被一些相关的强烈对比点（或块）来表示。意思指大量像素点（块）对的强度比较可以确定图像块的信息，其将不同位置点的比较（大为1，小为0）构成了一组二进制数，而二进制数的之间匹配过程非常快速，极大地减少了运算量。

一对像素点比较结果：

选择若干像素对组成二进制描述子：

不过LDB方法认为单纯通过强度比较可能不会准确，所以其引入x，y方向两个梯度比较，所以一个区域块内有三位比较，同时考虑到不同尺度分块可能会对图像造成不同影响，所以其将不同尺度的分块结合在一起考虑。

还有一种思路是利用遗传或学习方法，不预先考虑使用什么样的量来描述特征，而是先建立不同特征描述集（包含加减，各类梯度算子），然后通过一组训练集，利用遗传算法或其它学习方法找到满足重复度（其可以适应函数）最大的描述特征（如MO-GP方法）。

MO-GP方法的特征选择集：

二、采样点的位置

SIFT和SURF所采用方法是区域内的均匀采样，不过对个每个采样点根据其同中心兴趣点的距离划分了不同的高斯权值。DAISY方法是采用一种类似于花瓣分布的采样区域选择，其用类似于射线的方式将兴趣点区域划分成了8个方向，每个方向分布几层采样点，每层每个采样点都需要计算其子区域内的8个梯度方向，这样做主要是为了在构造尺度空间时，只需要对整体不断卷积新的高斯模板就可以了。

DAISY的采样特征点选择：

DAISY的尺度空间构建过程：

DAISY的描述子向量：

近年来，针对于二进制特征描述子被提出，由于其要选择一对对比像素点（或区域），又有新的方式被提出。最早的BRIEF对于对比像素点位置选择提出五种最可靠的方式（如两点随机选择，高斯概率选择等）。

ORB是针对BRIEF的一种改进方法，其利用贪心算法找到图像块内最有代表性的256个特征对（即相互之间相关度小，方差大类）。BRISK选择对应点像素的方式有点类似于DAISK方法，其考虑对比的是高斯平滑后像素点强度，不过这里同DAISK不同的是，这里的点高斯尺度不重叠。

FREAK方法利用人视网膜的原理，将兴趣点区域划分不同大小中心的感受野（圆形区域），每个感受野中心进行相应尺度高斯平滑，然后利用ORB类似的贪心算法找到最有代替性的128对比较，其最后总结了四组选择，分别对应从粗尺度到细尺度的选择，通过这总共512对比较，就能模仿人眼聚焦的效果，选择通过粗尺度的128位选择对找到大概位置，然后再通过细尺度下确定位置。

随着机器学习等发展，通过遗传算法、决策树进行数据集训练等方式，找到采样特征点的位置也是当今发展一种趋势。其将特征位置选择分成四个部分，然后从中确定最优的选择组合。

如其中的S-Block指采样特征点的位置空间分布，主要有四种情况，如下分布：

三、描述子的降维

最早期的方法就是PCA-SIFT方法，其通过PCA方法极大地减少了SIFT描述子的维度，加快匹配过程，此类还有LDA，AdaBoost等方法。这是针对于向量的降维，还有一类是直接针对大量的候选特征点，比如ORB方法利用贪心算法找到图像块内最有代表性的256个特征对（即相互之间相关度小，方差大或者是熵最高），这类方法主要是找到熵信息量最高的特征描述子。

描述子方差最大（熵最高）的描述公式：

四、描述子的不变性

要让匹配更为准确，则需要让描述子具有不变性，即无论图像尺度、旋转、视点变化、噪声、光强变化发生变化都能让描述子可以匹配其对应的点。噪声不变性和光强不变性比较好解决，可以通过区域平滑或特征点采样来消除噪声影响，而光强不变性可以通过梯度特征等来达到，以上的方法都能满足这些要求（一定程度上）。