论文阅读《Local Descriptors Optimized for Average Precision》

《Local Descriptors Optimized for Average Precision》

一、重点单词理解

differentiable 可微分的
partial derivative 偏导数
formulation 公式化 指定 构思
derivative 导数
thresholding 阈值
contrast 对比
heuristics 启发式
implicitly 含蓄的
explicitly 明确的
take into account 考虑进
In addition to 除了…之外
nature 性质
distractor 干扰项
supervision 监督
incorporate 包含
inter-前缀 表示在…之间
ideally 完美地
ambiguous 模拟量可的

二、《Local Descriptors Optimized for Average Precision》

    在本文中，作者通过优化描述符匹配的性能来改进局部特征描述符的学习，提出了一种通用学习利用公式进行排名，以优化用于最近邻匹配的方法。作者使用深度神经网络直接优化基于排名公式的性能指标。
由于目前在针对局部特征描述符的学习目标的设计中仍存在一定程度的手工制作，因此作者旨在通过优化更好的目标函数来改善局部特征描述符的学习。作者认为局部特征描述符学习不是一个独立的问题，而是大型流程优化中的一个组成部分。通过检查局部特征匹配流水线中，作者发现可以将特征匹配精确地表述为最近邻检索。与最近的方法相比，作者的方法优化了常用的评估指标，并消除了复杂的优化启发式方法。该文获得的描述符具有最先进的性能，并可通过特定于任务的改进得到进一步增强。
    本文中作者不使用优化基于三重态的替代损失，而采用基于列表的学习进行排名，以直接优化匹配阶段的性能。作者指出端到端优化非常困难且依赖于任务。通过专注于两个与任务无关的阶段（描述符提取和匹配），作者证明了解决方案是通用的。

图1 基于图片特征匹配的流程例子

1.最近邻匹配

    如上图1，描绘了用于估计匹配图像I1和I2之间的基本矩阵的流水线。任务是使用RANSAC等的鲁棒估计技术来估计图像I =（I1，I2）之间的基本矩阵F。作者使用深度神经网络对特征描述符提取器进行建模，并为描述符匹配的后续阶段直接优化基于排名的目标（即平均精度）。
    该流程包括了四个阶段：特征检测，描述符提取，描述符匹配和鲁棒估计。假设从每个图像中检测并提取M个局部特征。Descriptor Matching阶段的操作如下：它计算具有$M^2$的成对距离矩阵，并且对于I1中的每个特征，在I2中查找其最近的邻居，反之亦然。在Robust Estimation阶段，互为最邻近的特征对成为候选匹配。作者指出，I1中的每个功能都用于查询位于数据库中的I2特征。为了获得良好的性能，应将真正的匹配项作为最重要的检索结果返回，而将错误的匹配项尽可能低地排名。为了评估最近邻的匹配性能，作者采用平均精度（AP）。接下来，作者通过学习二进制和实值局部特征描述符以优化AP。

2.优化平均精度

    令X为图像块的空间$S\subset X$，S为数据库,而查询块$q\in X$，令$S_q^{+}$是其在S中的匹配块的集合，$S_q^{-}$是不匹配块的集合。给定一个距离度量D，令(X1,…,Xn)为$S_q^{-}\cup S_q^{+}$中各项的排名，按与到q的距离排序，即$D(x_1,q)\le D(x_2,q)...\le D(x_3,q)$给定排名，AP是在不同位置评估的精度值的平均值（Prec@K）：
$$Prec@K=\frac{1}{K}\sum _{i=1}^{K}1\left[x_i\in S_q^{+}\right]\text{\hspace{1em}(公式1)}$$

A P = 1 ∣