HPatches 数据集和评价指标

数据详情

构建方法

利用三维重建的方法获得特征点位置和匹配关系。

数据内容

后面更新

评价准则

定义 y = ( y 1 , … , y n ) ∈ { − 1 , 0 , + 1 } n \mathbf { y } = \left( y _ { 1 } , \ldots , y _ { n } \right) \in \{ - 1,0 , + 1 \} ^ { n } y=(y1​,…,yn​)∈{−1,0,+1}n 是对查询 patch 和 测试集合的每个 patches 按照它们描述符之间 score 降序或者 dis 升序排序的 label 集合，label 分别表示 negative，ignore 和 positive，即查询 patch 和测试集中某个 patch 是非匹配关系，忽略关系，还是匹配关系（真值）。

这样基于上面的 $\mathbf{y}$ 定义排序前 $i$ 个为算法匹配上的结果，这样 precision 和 recall 指标分布为：

$$\begin{gathered} P_i(\mathbf{y})=\sum _{k=1}^i{\left[y_k\right]}_{+}/\sum _{k=1}^i\left|y_k\right| \\ {R}_i(\mathbf{y})=\sum _{k=1}^i{\left[y_k\right]}_{+}/\sum _{k=1}^N{\left[y_k\right]}_{+} \end{gathered}$$

其中 [ z ] + = max ⁡ { 0 , z } [ z ] _ { + } = \max \{ 0 , z \} [z]+​=max{0,z}，正样本返回 1，其他返回 0。

这个和之前的定义一直，至少方式的不同：
$$\begin{gathered} Precision=\frac{TP}{TP+FP} \\ Recall=\frac{TP}{TP+FN} \end{gathered}$$
然后 average precision (AP) 的定义如下：
$$AP(\mathbf{y})=\sum _{k:y_k=+1}{P}_k(\mathbf{y})/\sum _{k=1}^N{\left[y_k\right]}_{+}$$
其中 $k:y_k=+1$ 表示 $k$ 取值范围为上面排序集合中每个正样本的 index（负样本 index 无意义，只是降低 precision 大小）。

对每个正样本 index 求对应的 precision，然后平均。

但在 image matching 任务和 patch retrieval 任务中会用到忽略关系 $y_i=0$ patch pairs 的数目。预先定义正样本的数目为（许多正样本的 patch pairs 在评估中不需要，比如 image matching 任务中查询 patch 只会在目标图像找到最优的 patch，并求取 score 用于后面的评估，而该查询 patch 与目标图像上其他的 patch 不会计算 score 和参与评估）：
$$K\ge \sum _{k=1}^N{\left[y_k\right]}_{+}$$
然后其他指标分别为：
$$\begin{gathered} R_i(\mathbf{y};K)=\sum _{k=1}^i{\left[y_k\right]}_{+}/K \\ AP(\mathbf{y};K)=\sum _{k:y_k=+1}{P}_k/K \end{gathered}$$
本文定义了三个评价指标，每个指标都是计算的 AP 值。

patch verification

指标

给定数据集定义：

$$\mathcal{P}=(\left({\mathbf{x}}_i,{\mathbf{x}}_i^{\prime },y_i\right),i=1,\dots ,N)$$

其中 ${\mathbf{x}}_i,{\mathbf{x}}_i^{\prime }\in {\mathbb{R}}^{65\times 65\times 1}$ 是匹配或者非匹配的 patch pairs，$y_i=\pm 1$ 是 label。

这样在评估匹配算法 $\mathcal{A}$ 时，对输入的两个 patches ${\mathbf{x}}_i,{\mathbf{x}}_i^{\prime }$，输入这两个 patches 匹配的置信度 score $s_i\in \mathbb{R}$（其实实际一般是 Euclidean 距离，score 可以用距离的倒数表示）。

这样按照 score 降维排序 $s_{{\pi }_1}\ge s_{{\pi }_2}\ge \cdots \ge s_{{\pi }_N}$，按照上一节的方法求每个 patch 集合的 $AP\left(y_{{\pi }_1},\dots ,y_{{\pi }_N}\right)$，用该值评估算法 $\mathcal{A}$ 的性能。

数据集

之前构建数据集通过对匹配 pairs 添加不同的重投影噪声，生成 EASY，HARD 和 TOUGH 三类数据集，同时在同一个序列或者不同的图像序列旋转为上面选定的 patch 选择非匹配 pairs。这样就6 个 patch verification 评估的基准 patch 集合，每个集合包括 $2\times 10^5$ 正样本匹配 pairs 和 $1\times 10^6$ 负样本非匹配 pairs。

最终的评价指标是在这 6 个数据集上平均的 mAP。

image matching

定义

在 image matching 任务中，图像表示为多个 patches 的集合，如下：

$$L_k=\left({\mathbf{x}}_{ik},i=1,\dots ,N\right)$$

image pairs 表示为：

$$\mathcal{D}=\left(L_0,L_1\right)$$

其中 $L_0$ 是参考（查询）图像，$L_1$ 是目标图像，其中 ${\mathbf{X}}_{i0}$ 是和 ${\mathbf{X}}_{i1}$ 是匹配关系。

利用 $\mathcal{D}$ 去评估算法 $\mathcal{A}$ 的，给定查询 patch ${\mathbf{x}}_{i0}\in L_0$，需要找到最优的匹配 patch ${\mathbf{x}}_{{\sigma }_{i}1}\in L_1$ 的 index σ i ∈ { 1 , … , N } \sigma _ { i } \in \{ 1 , \dots , N \} σi​∈{1,…,N}，同时输出置信度 score $s_i\in \mathbb{R}$。

这样上面会求的 $N$ patch pairs 的 score，分别对应的 label 为：

$$y_i=2\left[{\sigma }_i\stackrel{?}{=}i\right]-1$$

也就是 patch pairs 在图像上的 index 一直是匹配关系，不一致时非匹配关系。

同理按照 score 降维排序 $s_{{\pi }_1}\ge s_{{\pi }_2}\ge \cdots \ge s_{{\pi }_N}$，按照上一节的方法求每对 image pair 的 $AP\left(y_{{\pi }_1},\dots ,y_{{\pi }_N};N\right)$，用该值评估算法 $\mathcal{A}$ 的性能。

数据集

根据视角 viewpoint 或者光线illumination 的变化进行分组，同时每个组的 patches 生成 EASY，HARD 和 TOUGH 三类数据集。

最终的评价指标是在所有的 image pairs 以及上诉变化的数据集上平均的 mAP。

patch retrieval

定义

给定数据集定义：

$$\mathcal{P}=\left({\mathbf{x}}_0,\left({\mathbf{x}}_i,y_i\right),i=1,\dots ,N\right)$$

其中 ${\mathbf{x}}_0$ 是来自查询图像 $L_0$ 的 patch，其他的 patch 来自相同图像序列的图像 $L_k,k=1,\dots ,K$。

而且可知在相同图像序列的图像 $L_k$ 上确定有一个查询 ${\mathbf{x}}_0$ 匹配的 patch，所有总共有确定的 $K$ 个正样本。

对于每个数据集 $\mathcal{P}$ 来说，算法 $\mathcal{A}$ 输出 ${\mathbf{x}}_0$ 和 每个patch ${\mathbf{x}}_i$ 的 score $s_i\in \mathbb{R}$。

同理按照 score 降维排序 $s_{{\pi }_1}\ge s_{{\pi }_2}\ge \cdots \ge s_{{\pi }_N}$，按照上一节的方法求每个数据集 $\mathcal{P}$ 的 $AP\left(y_{{\pi }_1},\dots ,y_{{\pi }_N};N\right)$，用该值评估算法 $\mathcal{A}$ 的性能。

数据集

基准数据集总共包括 $1\times 10^4$ 个测试数据集 $\mathcal{P}$，其中 ${\mathbf{x}}_0$ 包括 $K=5$ 个匹配 patch，以及 $2\times 10^4$ 个干扰负样本。同时每个测试数据集 $\mathcal{P}$的正样本 patches 生成 EASY，HARD 和 TOUGH 三类数据集。

最终的评价指标是在所有的测试集合 $\mathcal{P}$以及上诉变化的数据集上平均的 mAP。