[2015 Springer] Local Image Descriptor: Modern Approaches——3 Intensity Order-Based Local Descriptors

转载请注明链接：
有问题请及时联系博主：Alliswell_WP：Alliswell_WP

第一篇链接：https://blog.csdn.net/qq_21685903/article/details/103475243
第二篇链接：https://blog.csdn.net/qq_21685903/article/details/103610331
第三篇链接：https://blog.csdn.net/qq_21685903/article/details/103745678

翻译

本地图像描述符：现代方法

——
作者：Bin Fan，Zhenhua Wang，Fuchao Wu

有关该系列的更多信息，请访问*http://www.springer.com/series/10028*

目录

1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 经典的本地描述符. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1 尺度不变特征变换 (SIFT) . . . . . . . . . . . . . . . . . . 5
2.1.1 SIFT中的比例尺空间表示. . . . . . . . . . . . . . . . . 6
2.1.2 关键点检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.3 功能描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 加快了鲁棒性 (SURF) . . . . . . . . . . . . . . . . . . . . . 11
2.2.1 积分图像. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.2 SURF中的尺度空间表示 . . . . . . . . . . . . . . . . 11
2.2.3 尺度不变兴趣点检测 . . . . . . . . . . . . . . 14
2.2.4 方向分配和描述符的构造 . . . . . 14
2.3 局部二元模式及其变异 . . . . . . . . . . . . . . . . . . . . . 16
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 基于强度顺序的本地描述符. . . . . . . . . . . . . . . . . . . . . 25
3.1 序数和空间强度分布描述符 (OSID). . . . . 25
3.2 基于强度顺序的特征描述池化 . . . . . . . . . 26
3.2.1 基于几何的空间池分析 . . . . . 27
3.2.2 基于强度顺序的补丁分区. . . . . . . . . . . . . . . . 30
3.2.3 MROGH和MRRID描述符的构造 . . . . . . 31
3.3 用于特征描述的局部强度顺序模式 . . . . . . . . . . 33
3.3.1 LIOP描述符的构造 . . . . . . . . . . . . . . . . 34
3.4 基于强度阶的二进制描述符 . . . . . . . . . . . . . . . . . . . 34
3.4.1 次区域生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 区域不变式和成对比较 . . . . . . . . . 37
3.4.3 学习好的二进制描述符 . . . . . . . . . . . . . . . . . . 39
3.4.4 使用多个支持区域. . . . . . . . . . . . . . . . . . . 40
3.4.5 级联过滤以加快匹配速度 . . . . . . . . . . . 40
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4 Burgeoning方法：二进制描述符. . . . . . . . . . . . . . . . . . . . 43
4.1简介：二进制健壮的独立基本特征. . . . . . . 43
4.2 ORB：定向的FAST和旋转的Brief. . . . . . . . . . . . . . . . . 44
4.2.1尺度不变FAST检测器. . . . . . . . . . . . . . . . . . . . 45
4.2.2强度中心的方向计算. . . . . . . . . 45
4.2.3学习良好的二进制特性. . . . . . . . . . . . . . . . . . . . 46
4.3 BRISK：二进制鲁棒和不变的可扩展关键点. . . . . . . 47
4.3.1关键点检测. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.2方向分配和关键点描述. . . . . . . 49
4.4 FREAK：快速视网膜关键点. . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.1描述符的构造. . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.2与FREAK的节奏匹配. . . . . . . . . . . . . . . . . . . 51
4.5 FRIF：快速鲁棒不变特征. . . . . . . . . . . . . . . . . . . . . . 52
4.5.1 FALoG检测器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.5.2混合二进制描述符. . . . . . . . . . . . . . . . . . . . . . . . 53
4.6通过监督信息学习二进制描述符. . . . . . . . 54
4.6.1从原始映像补丁开始. . . . . . . . . . . . . . . . . . . . . . . . . 55
4.6.2来自中间表示. . . . . . . . . . . . . . . . 62
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65岁
5视觉应用程序. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.1运动和3D重建的结构. . . . . . . . . . . . . . . 69
5.2对象识别. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3基于内容的图像检索. . . . . . . . . . . . . . . . . . . . . . . . . 77
5.4同时定位和映射(SLAM). . . . . . . . . . . . 81
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
6资源和未来工作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.1数据集和评估协议. . . . . . . . . . . . . . . . . . . . . . . . 89
6.1.1图像匹配基准. . . . . . . . . . . . . . . . . . . 89
6.1.2对象识别基准. . . . . . . . . . . . . . . . . 92
6.1.3图像检索基准. . . . . . . . . . . . . . . . . . . 93
6.2结论和今后的工作. . . . . . . . . . . . . . . . . . . . 95
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

第3章基于强度顺序的本地描述符

**摘要：**在本章中，我们讨论利用强度顺序信息的局部描述符。强度顺序的良好特性是它对于单调亮度变化是不变的，近年来已对其进行了深入研究，从而导致了用于图像匹配的最新描述符。它已用于要素构造和要素池中。我们首先讨论在局部图像补丁中使用强度顺序信息的最直接的方法，该方法将创建强度顺序和位置特征的二维直方图。接下来，我们通过基于强度顺序的合并来阐述一个新的特征描述框架。然后，介绍了局部强度顺序模式(LIOP)及其在此框架中的用法。
最后，我们演示了如何使用本地图像补丁中的顺序信息来设计二进制描述符。

关键字 按强度顺序合并旋转不变描述符LIOP MROGH基于顺序的描述符

3.1序数和空间强度分布描述符(OSID)

要将强度等级信息编码为描述符，可能最直接的方法是为局部图像补丁中不同子区域计算强度等级的直方图。这是序数和空间强度分布(OSID)描述符的基本思想[14]。简而言之，它可以捕获局部图像块中像素的有序分布和空间分布，并将它们的联合分布用作特征描述符。

更具体地说，给定关键点周围的局部图像斑块，由于像素强度的相对顺序对噪声敏感，因此首先用高斯滤波器(5×5大小，σ= 1)对其进行平滑处理以去除噪声。然后，根据局部像素的强度对所有像素进行排序，为每个像素分配一个序号(常规标记)。同时，本地补丁分为m个。最后，通过计算每个饼图区域中的订单直方图并将它们串联在一起来构造OSID描述符。假设订单直方图中有n个仓位，则第i个饼图区域中订单编号为x的像素将归因于ith直方图中的[x / N * n]仓位，其中N是补丁中的像素数。用像素数(N)对级联的描述符进行归一化，以消除其对描述符的影响。计算OSID描述符的整个过程如图3.1所示。 m和n的典型值分别是16和8。

图3.1计算OSID描述符

3.2基于强度顺序的池进行功能描述

为了提高局部描述符的判别能力，将局部图像补丁划分为几个子区域，然后为每个子区域计算一个特征表示，最后将这些表示连接在一起是很重要的。分成几个部分，并将计算的表示形式合并为合并。为此目的的传统方法是依赖于几何布局的几何空间池化。例如，SIFT [12]，SURF [2]和CS-LBP [8]中使用的网格布局，以及旋转图像[10]中使用的同心圆布局。在本节中，我们将首先对基于几何的空间池进行分析。之后，我们详细阐述了最近提出的基于强度顺序的池化，可以将其作为特征描述的新框架。最后，我们展示了如何将其用于合并低级图像特征(例如渐变和CS-LBP)以获得最新的特征描述符[6]，即MROGH(基于多支持区域顺序的梯度直方图)和MRRID (多支撑区域旋转和强度单调不变描述符)。

3.2.1基于几何的空间池分析

对于基于几何的空间池，根据其是否需要附加参考方向以使其旋转不变，可以将其大致分为两类。第一类依赖于参考方向来对齐局部图像补丁，并且在笛卡尔坐标系或极坐标系中将补丁划分为网格。许多著名的局部描述符都属于此类，例如，SIFT [12]和SURF [2]使用笛卡尔坐标系中的网格布局，而DAISY [15，18]使用极坐标系中的网格布局。相反，第二类别实现旋转不变性，而无需参考局部图像补丁的估计方向。结果，仅环形空间汇集区域(同心圆布局)是可能的。
自旋图像和RIFT [10]属于这一类。网格布局相对于同心圆布局的优势在于，可以捕获有关底层特征空间分布的更多信息，因此，属于第一类的描述符通常更具区分性。但是，网格布局的缺点是它依赖于附加的参考方向，其估计是容易出错的过程。方向估计中存在的错误反过来会降低相应局部描述符的性能。

为了通过实验证明方向估计误差将使许多真实的对应点无法与其描述符相匹配，从互联网上收集了40个具有旋转变换的图像对(其中一些还涉及比例变化)。1它们中的每一个都与单应性相关，即与图像对一起提供。它们是从五种具有不同纹理和结构的场景中捕获的。

1 http://lear.inrialpes.fr/people/mikolajczyk/.

对于每个图像对，在检测到的SIFT关键点上提取SIFT描述符，并通过其描述符距离的最接近邻居进行匹配。对于根据地面真实单应性确定的一对对应点(x，y，θ)和(x’，y’，θ’)，方向估计误差可通过以下公式计算：

其中，f(θ； H)是通过根据两个图像之间的单应性H将第一图像转换为第二图像而在第二图像中θ的底面取向。图3.2给出了一些统计结果。图3.2a是所有相应点之间的方向估计误差的直方图。注意，温德和布朗[17]也通过应用随机的合成仿射经纱获得了相似的直方图。图3.2b显示了那些也通过其SIFT描述符匹配的对应点之间的定向估计误差直方图。它表明对于SIFT描述符，为了正确匹配对应点，要求方向估计误差不超过20°。但是，从图3.2a可以清楚地看到，许多对应点的误差都大于20°。在该实验中，只有63.77％的对应点的方向估计误差在[-20°，20°]范围内。那些取向估计误差较大(≥20°)的对应点可能无法通过比较它们的描述符来正确匹配。换句话说，对应点的36.23％不正确匹配，主要是因为它们的方向估计误差大。因此，方向估计对构造的描述符的判别力具有重大影响。

图3.2对应点之间的方位估计误差分布 a在所有相应点之间的分布，只有63.77％的相应点的误差在[−20°，20°]范围内。 b也通过SIFT描述符匹配的那些对应点之间的分布。 ©[2012] IEEE。 经Fan等人[6]许可转载。

为了更深入地了解估计方向对局部描述符匹配性能的影响，进行了一些图像匹配实验。实验图像如图3.3a-f所示。对于每个图像对，两个图像之间存在全局旋转。具体来说，图3.3d-f中的图像对为0◦，图3.3a-c中的图像对为一定程度。具有两种不同方向分配方法的两个局部描述符(SIFT和DAISY)用于图像匹配：

(1)方向由地面方向指定，构造的局部描述符表示为Ori-SIFT和Ori-DAISY。

(2)使用SIFT [12]中使用的方法分配方向，并且将构造的局部描述符表示为SIFT和DAISY。

图3.3使用估计的方向和地面方向(Ori-SIFT，Ori-DAISY)时，SIFT和DAISY的图像匹配结果。 图像对的结果是45º旋转，b40º旋转+ 0.75比例更改，c50º旋转+ 0.6比例更改，d JPEG压缩，e图像模糊，f照明更改，g是Brown局部图像块上的结果 来自DoG关键点的数据集[3]，而h是来自尺度不变的Harris关键点的局部图像补丁的结果。 ©[2012] IEEE。 经Fan等人[6]许可转载。

此外，还测试了补丁数据集[3]中的两个子集。在每个子集中，有20,000个匹配的补丁和不匹配的补丁。由于匹配补丁之间没有方向或方向很小，因此通过直接在补丁上构造描述符获得Ori-SIFT(Ori-DAISY)，而首先随机旋转补丁即可获得SIFT(DAISY)，然后根据[12]估计的方向构造描述符。

通过比较Ori-SIFT / Ori-DAISY和SIFT / DAISY的性能，可以清楚地了解方向估计对构造用于图像匹配的局部描述符的影响。实验结果显示在图3.3a-f中的测试图像对下方。图3.3g，h显示了补丁数据集的结果。从图3.3可以看出，Ori-SIFT / Ori-DAISY明显优于SIFT / DAISY。由于Ori-SIFT / Ori-DAISY和SIFT / DAISY之间的唯一区别是方向分配方法，因此很明显，更准确的方向估计将大大改善局部描述符的性能。
当前使用的基于直方图技术的方向估计方法仍然是容易出错的过程，并且将对局部描述符的性能产生不利影响。其他一些工作[2，4]也注意到，如果我们不需要这种不变性，方向估计会降低性能。

3.2.2基于强度顺序的补丁分区

基于几何的空间池化的弊端激发了一个新的框架，用于特征描述[6]，如图3.4所示，其核心是基于强度顺序的斑块划分策略。它首先根据其像素的强度顺序将局部图像块划分为几个部分(图3.4中的第一行)，然后像几何几何一样为每个部分获得特征表示(图3.4中的第二行)。基于空间池，最后将所有部分的所有特征表示连接在一起作为特征描述符(图3.4中的第三行)。

图3.4基于强度顺序的特征描述框架。 ©[2012] IEEE。 经Fan等人[6]许可转载。

假设关键点周围的局部图像块由Ω= {X1，X2，…，Xn}和I(X)表示像素X的强度。首先，以非降序对Ω中所有像素的强度进行排序，以获得有序集合：

为了将Ω均匀地划分为m个部分，需要(m +1)个阈值{t0，t1，… ，tm}取为：

其中

根据这些阈值，将局部补丁中的n个像素划分为m个部分，

在图3.4的第一行中，给出了这种基于强度顺序的斑块划分的示意图。每个分区都称为一个子区域，并用特定颜色标记。值得注意的是，该方法不会根据局部一致的方向旋转贴片以实现旋转不变性。基于强度顺序的斑块划分固有地对于单调强度变化和图像旋转不变。同时，由于它比环形补丁分区捕获更多的信息，因此更具特色。

在此框架下，很明显可以通过使用不同的低级功能获得不同的描述符。目前，广泛使用的基准测试(牛津的VGG数据集[13])中的顶级性能描述符就是这种类型的。在这些描述符中，其中一些仅使用现有的低级功能，例如SIFT和CS-LBP中使用的那些功能，从而产生MROGH和MRRID [6]。其他的则基于特殊强度的基于阶次的低级功能，我们将在下一节中介绍。作为使用基于强度顺序的池化框架进行特征描述的示例，在下一部分中，我们将简要介绍如何构造MROGH和MRRID。

3.2.3 MROGH和MRRID描述符的构造

由于使用基于强度顺序的池化的动机是在不估计参考方向的情况下实现旋转不变性，因此所用的低层特征也应以固有的旋转不变方式进行计算。为此，为局部图像块中的每个像素构造局部旋转不变坐标系。如图3.5所示，假设P是一个关键点，Xi是其支持区域中的一个像素(围绕关键点的局部图像块，用于构造描述符)。然后，通过将设置为正y轴，可以为局部图像块中的每个像素Xi建立局部xy坐标系。

图3.5局部旋转不变坐标系，用于计算局部图像块中像素Xi的低层特征，以进行特征描述。 P是关键点。 ©[2012] IEEE。 经Fan等人[6]许可转载。

在此局部坐标系下，类似于SIFT [12]和DAISY [15]，我们可以通过将梯度方向线性分配给由梯度幅度加权的相邻两个像素，来为局部图像块中的每个像素计算第八维矢量。将这个向量表示为fG(Xi)，我们可以得到特征描述符为FOGH = [ΣXi∈R1fG(Xi)，… ，ΣXi∈RmfG(Xi)]∈R8m，这称为基于阶的梯度直方图(OGH)。将与SIFT相似的归一化应用于OGH以处理照明变化。同样，通过在该坐标系中计算CS-LBP [8]，我们可以获得Xi的16维向量fI(Xi)。生成的特征描述符通过FRID = [ΣXi∈R1fI(Xi)，… ，ΣXi∈RmfI(Xi)]∈R16m，然后归一化为单位长度。这种描述符称为旋转和强度单调不变描述符(RID)。 m通常设置为6。

图3.6使用多个支撑区域的动机 两个不对应的关键点可能在某个局部区域中具有相似的外观，但是它们在不同大小的多个局部区域中具有相似的外观的可能性较小

为了进一步提高描述符的判别力，使用多个支持区域是一种有效的策略。如图3.6所示，仅使用一个支撑区域不足以区分某些关键点。但是，使用多个支持区域会更容易，因为两个不对应的关键点在多个大小不同的局部区域中具有相似的局部外观的可能性较小。基于此观察结果，OGH 和 RID可以构造有多个支持区域，从而获得MROGH和MRRID。具体来说，我们使用n个逐渐增加的支持区域(通常将n设置为4)，将其标准化为统一大小(例如41×41)。然后，为它们中的每一个计算特征描述符。这些描述符串联在一起并标准化为单位长度以形成最终描述符。

3.3用于特征描述的局部强度顺序模式

低级特征在构造的特征描述符的独特性和鲁棒性中都起着重要作用。先前的工作[6-8]在特征描述中显示了使用类似LBP的低层特征的有效性。但是，由于这些方法仅比较中心对称采样点的强度，因此它们不能有效地捕获所有采样点之间的强度关系，并且判别能力较低。

LIOP(局部强度顺序模式)被提出来克服这个问题[16]。它通过使用像素周围所有采样点之间的强度顺序来有效地探索局部有序信息。

在正式定义LIOP之前，先介绍一些基本映射。令ΠN为整数{1、2，…，N的所有可能置换的集合}，定义映射γ：RN→ΠN，以根据Y的N个元素的阶数y1，y2，…，yN。将N维向量Y∈RN映射到置换π=γ(Y)∈ΠN。
更具体地，映射γ将Y的N个元素以降序排列，即，yi1≤yi2≤··≤yiN，并且使用下标列表(i1，i2，…，iN)作为置换。为避免歧义，当且仅当(i)ys <yt或(ii)ys = yt且s <t时，才定义ys≤yt。

既然有N！对于N个值的置换，ΠN的基数为N!。因此，每个π∈ΠN可以唯一地表示为1到N！之间的整数。这些整数中的每一个都预定义为对应于特定排列。在N ＝ 4的情况下，这样的对应关系被存储在如图3.7的中间所示的索引表中。该映射被表示为Φ：ΠN-→{1、2，… ，N！}。

图3.7当使用4个相邻采样点时，针对以P为中心的局部图像补丁中的像素Xi计算LIOP代码的示意图。 P是关键点。 ©[2011] IEEE。 经过许可，转载自Wang 等人[16]

通过上述定义的映射，本地补丁中像素Xi的LIOP代码是一个整数，定义为：

其中Y(Xi)=(I(Xi1)，I(Xi2)，…，I(XiN))∈RN是由Xi的N个规则采样的相邻点的强度构成的向量。在图3.5所示的局部旋转不变坐标系中对这些相邻点进行采样，以确保旋转不变。根据[16]中的实验，将N设置为4。

3.3.1 LIOP描述符的构造

类似于MROGH / MRRID描述符的构造，通过分别收集每个基于强度顺序的分区中的所有LIOP代码来构造LIOP。对于局部图像补丁中的每个像素Xi，其LIOP代码首先被转换为N！维向量b(Xi)∈{0，1} N !，只有一个元素为1，其他元素为0。在b(Xi)中，将与LIOP(Xi)相对应的元素设置为1。因此， LIOP描述符由FLIOP = [ΣXi∈R1b(Xi)，… ，ΣXi∈Rmb(Xi)]∈RmN!，然后归一化为单位长度。典型参数设置为m = 6和N = 4，LIOP描述符的尺寸为144。尽管可以使用LIOP在上一节介绍了多个支持区域的策略后，它通常仅用于一个支持区域。原因是使用多个支撑区域会显着增加描述符的维数，因为基本LIOP描述符为144维。此外，即使只有一个支撑区域，LIOP在大多数情况下也表现良好，仅次于MROGH和MRRID。

3.4基于强度阶的二进制描述符

由于二进制描述符 2 由于其高匹配效率和低内存需求而在计算机视觉中得到广泛使用，因此，本文展示了强度顺序可用于设计旋转不变二进制描述符，称为区域不变性的序数和空间信息(OSRI)[19] 。该二进制描述符在很大程度上受基于强度顺序的合并的启发，主要是因为它能够在不依赖参考方向的情况下实现旋转不变性，同时又能保持较高的独特性。

2我们将在第4章中对它们进行详细介绍。

与在构造二进制描述符中广泛使用的比较像素强度的策略(BRIEF [4]，BRISK [11]，FREAK [1]等)不同，它诉诸于比较根据在此基础上获得的子区域计算出的区域不变量局部图像补丁中像素的强度顺序和梯度方向顺序的集合。基本上，计算OSRI描述符包括三个步骤：(1)根据补丁中像素的强度顺序和梯度方向将局部图像补丁划分为子区域； (2)计算每个次区域的一些区域不变量； (3)比较一些预定义的子区域对之间的一些预定义的区域不变量以获得二进制描述符。预定义的区域不变量以及子区域的预定义对由机器学习算法自动确定。在下文中，我们将首先详细描述如何基于强度顺序和梯度方向顺序生成一组候选子区域。然后，我们详细说明了从这些子区域计算出的区域不变量。基于它们的属性，它们用于生成区域不变式的成对比较。最后，我们给出一种从所有可能的比较中选择一小对这样的成对比较的算法，以定义OSRI描述符。

3.4.1次区域生成

构造OSRI的第一步是将本地图像补丁分成信息丰富的子区域。这些子区域不仅应不依赖于参考方向旋转不变，而且还应包含尽可能丰富的外观，形状和空间几何形状信息。受第3.2节中引入的基于强度阶的斑块划分的良好特性的启发，OSRI在两个方面进行了改进：(1)除了基于强度阶的斑块划分之外，它还使用梯度取向阶次将斑块划分为次区域。这两个互补的属性使所得的子区域包含更多的外观，形状和空间特征。
(2)循环移位操作用于在给定的局部面片中获取更多的子区域，以进行特征描述。

假设局部图像补丁由R = {X1，X2，…，Xn}。我们进一步将I(Xi)表示为像素Xi的强度，将θ(Xi)∈[0，2π]表示为其梯度方向。注意，为了确保固有的旋转不变性，在局部坐标系中计算梯度，如图3.5所示。斑块分割的目的是分别根据所有像素的强度顺序和梯度方向顺序将R分为ku和kv子区域。通过循环移位操作将该过程重复K次。因此，它将导致K×(ku + kv)个子区域。

更具体地说，首先将R中的所有像素按其强度以降序排序，然后获得一组排序的像素，如下所示：

其中f1，f2，… ，fn是1，2，…，n的排列。通过将RI 分为ku个部分，我们可以相应地获得ku个子区域。因此，通过将元素循环移位RI K次，我们可以获得K个这样的子区域，从而获得K×ku个子区域的总数。循环移位操作的足迹设置为p = [1 / K * n / ku]，因此，在进行K次操作后，得到的子区域相同。在数学上，对于第s次循环移位运算，已排序像素的移位集合为：

其中h(fi，s)= f(i + p(s-1))％n 是第i个元素在移位集中的原始位置。图3.8提供了这种补丁分割方法的图示，其中使用了四个循环移位操作。对于每个移位的分类像素集，将其分为六个用不同颜色标记的子区域。

图3.8基于强度顺序的斑块划分示意图。 可以看出，循环移位运算符用于以不同方式对局部面片中的所有像素进行分组。 ©[2014] IEEE。 经徐等人的许可转载[19]。

类似地，可以通过根据像素的梯度方向对R中的像素进行排序来获得另一组像素：

其中g1，g2，… ，gn是1，2，…，n的排列。通过将补丁均匀且顺序地划分为kv个子区域，并使用相同的循环移位操作，我们可以获得K×kv个子区域。

根据上述过程，我们可以获得总数为N = K×(ku + kv)个子区域，记为{sR1，sR2，…，sRN}。

3.4.2区域不变式和成对比较

在分区划分之后，下一步是计算一些度量并在它们之间建立成对比较以产生二进制位。为了最终获得鲁棒且有区别的二进制描述符，计算出的量度应对局部图像斑块的几何和光度变化具有鲁棒性，并同时捕获对局部线索(外观，形状和空间几何)的丰富描述。
为此，使用了从一个子区域计算出的11个统计不变式 3，将在以下段落中对其进行详细描述。通常，它们被分为三类，它们捕获了子区域的不同属性：不变矩(代数和几何)，子区域中像素的空间分布以及子区域的几何质心。请注意，所有这些度量都是旋转不变的。同时，除了根据梯度方向计算出的代数矩不变性外，其余十种测度对单调强度变化也不变。这就是为什么它们被称为不变式的原因。

3 术语“不变式”表示它们对于某些特定类型的几何/光度转换是不变的。

(a)时刻不变式：使用了两种矩不变式，即代数矩不变式和几何矩不变式。代数矩为强度方差和梯度幅度方差。对于几何矩，使用Hu不变矩集[9]，它们对于平移，缩放和旋转不变。它们的计算如下：

其中ηpq定义为

在上述等式中，sR是子区域，I(x，y)是(x，y)中的像素强度。

通过比较任意两个子区域的任何特定类型的这些矩不变式，我们可以获得一个候选位。因此，总共有9CN2这样的成对比较，其中N是子区域的数量。

(b)像素的空间分布：为了捕获每个子区域中像素的空间分布，首先将局部块划分为m个等距的同心环。然后，对于每个子区域sRi，我们计算一个直方图，以了解其像素如何在这m个环中散射。由于不同环的面积不同，因此必须在直方图的相应bin中归一化此因子，这一点很重要。结果，我们可以获得具有m个bin的N个直方图，其计算如下：

其中(x，y)是补丁中的像素，| ·|是集合的基数，Oj表示第j个同心环。

通过成对比较Φij，我们可以获得CmN2比较。

©几何质心：对于两个匹配的关键点，其子区域的空间几何关系应相同；相反，一对不匹配的关键点应该是不一样的。连接关键点及其子区域的几何质心的向量之间的角度可用于编码此空间几何信息。对于子区域sRi，其几何质心可以计算为：

其中

假设P为关键点，令连接P和C1的→PC1的方向为0°，θ→PCi∈[0，2π)，i = 2 ，…, N表示逆时针→PCi和→PC1之间的夹角。 OSRI的作者已经注意到，原始的分区子区域的几何质心是不稳定的，因为在大多数情况下，它相对于P大约是中心对称的[19]。为了缓解这个问题，他们建议提取子区域中的最大连通分量，并使用其几何质心Ci’代替θ→PCi来计算θ→PCi’。如图3.9所示。

图3.9左从原始子区域计算出的几何质心。 右图从最大连接分量计算出的几何质心。 使用最大连接分量受子区域中像素的近似中心对称分布的影响较小

总共有N个这样的方向。因此，生成了CN2成对比较。

3.4.3学习良好的二进制描述符

基于上面提到的11个不变量和N = K×(ku + kv)个子区域，可以得到(9CN2 + CmN2 + CN2)的成对比较总数。典型的参数设置为K = 4，ku = 6 ，kv = 6，m = 3，有21,576个可用位。因此，准备好一个21,576位的候选集来学习一个好的二进制描述符。由于有许多冗余位不能有效地描述本地补丁，因此它使用无监督学习算法来选择一小套相关性较小的位，以形成OSRI二进制描述符。更具体地说，它首先为在PASCAL VOC 2007数据集的图像中检测到的每个关键点计算一个长度为21,576的长二进制字符串[5]。然后，它分别计算所有关键点上这些位的平均值，并以| 0.5-v |的升序对它们进行排序，其中v表示平均值。 | 0.5 − v |的较小值表示该位的较高方差，意味着可以包含更多信息。最后，它通过检查被检查的一位与所选位之间的相关性，从排序集中逐步选择一位。如果所选集中存在与检查位的相关性高于阈值的任何位，则不会选择检查位。选择过程将一直持续到选择了目标位数或检查了所有位数为止。

3.4.4使用多个支持区域

与第3.2节中介绍的MROGH和MRRID描述符相似，OSRI也可以使用多个支持区域来编码更多的区分信息。在这种情况下，每个支撑区域通过上一节中提出的方法划分为K×(ku + kv)个子区域。因此，对于R个支撑区域，可以获得L = R×N个子区域。因此，生成了((9CL2 + CmL2 + CL2)可用位。最终二进制描述符的学习算法与使用单个支持区域的情况类似，这在最后一节中进行了详细说明。

3.4.5级联过滤可加快匹配速度

OSRI的一个优良特性是根据用于生成相应位的区域不变量的类型，它可以分为四类(矩不变量分为代数和几何不变量)。令f为d维OSRI描述符，通过根据使用的区域不变量的类型组织其d位并按升序排列它们，可以将其重写为f = [f1 f2 f3 f4]，其中＃f1 <＃ f2 <＃f3 <＃f4和＃表示位数。根据[19]中的实验，这4个部分都具有可比的判别能力。因此，可以将它们装配到级联结构中以加速描述符匹配，如图3.10所示。这样，只需要比较很少的位就可以在描述符匹配阶段滤除大多数不匹配项。

图3.10根据所使用的区域不变量的类型，可以通过将OSRI描述符分为4部分(f1，f2，f3，f4)来构造用于匹配OSRI描述符的级联结构

参考文献

1. Alahi, A., Ortiz, R., Vandergheynst, P.: FREAK: Fast retina keypoint. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 10–517 (2012)
2. Bay, H., Ess, A., Tuytelaars, T., Gool, L.V.: SURF: speeded up robust features. Comput. Vis.Image Underst. 110(3), 346–359 (2008)
3. Brown, M., Hua, G., Winder, S.: Discriminative learning of local image descriptors. IEEE Trans. Pattern Anal. Mach. Intell. 33(1), 43–57 (2011)
4. Calonder, M., Lepetit, V., Ozuysal, M., Trzcinski, T., Strecha, C., Fua, P.: BRIEF: computing a local binary descriptor very fast. IEEE Trans. Pattern Anal. Mach. Intell. 33(7), 1281–1298 (2012)
5. Everingham, M., Van Gool, L., Williams, C.K.I., Winn, J., Zisserman, A.: The Pascal Visual Object Classes (VOC) challenge. Int. J. Comput. Vision 88(2), 303–338 (2010)
6. Fan, B., Wu, F., Hu, Z.: Rotationally invariant descriptors using intensity order pooling. IEEE Trans. Pattern Anal. Mach. Intell. 34(10), 2031–2045 (2012)
7. Gupta, R., Patil, H., Mittal, A.: Robust order-based methods for feature description. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 334–341 (2010)
8. Heikkila, M., Pietikainen, M., Schmid, C.: Description of interest regions with local binary patterns. Pattern Recogn. 42, 425–436 (2009)
9. Hu,M.K.: Visual pattern recognition by moment invariants. IRE Trans. Inf. Theory 8(2), 179– 187 (1962)
10. Lazebnik, S., Schmid, C., Ponce, J.: A sparse texture representation using local affine regions.IEEE Trans. Pattern Anal. Mach. Intell. 27(8), 1265–1278 (2005)
11. Leutenegger, S., Chli, M., Siegwart, R.: BRISK: Binary robust invariant scalable keypoints.In: International Conference on Computer Vision, pp. 2548–2555 (2011)
12. Lowe, D.: Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision 60(2), 91–110 (2004)
13. Mikolajczyk, K., Schmid, C.: A performance evaluation of local descriptors. IEEE Trans.Pattern Anal. Mach. Intell. 27(10), 1615–1630 (2005)
14. Tang, F., Lim, S.H., Change, N.L., Tao, H.: A novel feature descriptor invariant to complex brightness changes. In: IEEE Conference on Computer Vision and Pattern Recognition, pp.2631–2638 (2009)
15. Tola, E., Lepetit, V., Fua, P.: DAISY: An efficient dense descriptor applied to wide-baseline stereo. IEEE Trans. Pattern Anal. Mach. Intell. 32(5), 815–830 (2010)
16. Wang, Z., Fan, B.,Wu, F.: Local intensity order pattern for feature description.In: International Conference on Computer Vision, pp. 603–610 (2011)
17. Winder, S., Brown, M.: Learning local image descriptors. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 1–8 (2007)
18. Winder, S., Hua, G., Brown, M.: Picking the best DAISY. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 178–185 (2009)
19. Xu, X., Tian, L., Feng, J., Zhou, J.: OSRI: a rotationally invariant binary descriptor. IEEE Trans. Image Process. 23(7), 2983–2995 (2014)

转载请注明链接：
有问题请及时联系博主：Alliswell_WP：Alliswell_WP

第一篇链接：https://blog.csdn.net/qq_21685903/article/details/103475243
第二篇链接：https://blog.csdn.net/qq_21685903/article/details/103610331