【论文笔记】特征点匹配网络 SuperGlue: Learning Feature Matching with Graph Neural Networks 2019 论文笔记

Magic Leap, ETH Zurich

提出了特征点匹配网络SuperGlue，寻找两幅图像局部特征点之间的对应关系的神经网络，该网络使用图神经网络预测损失。

搭配super point在室内外重定位任务中达到SOTA的精度。

论文方法：

首先输入图像对记为A，B，各包含了关键点和局部描述子，因此是集合形式{(p,d)}

p=(x,y,c)是关键点，其中c是置信度；d是描述子，本文中是superpoint。

网络结构介绍：

1.图神经网络

​ 借鉴人眼反复匹配的过程：注意力+反复迭代+上下文信息，因此使用注意力图神经网络作为第一个模块，允许图像间、图像间的长距离信息融合。

• 关键点编码：这一步是图神经网络节点 i 的初始化步骤：
  $${}^{(0)}{x}_i=d_i+ML{P}_{enc}(p_i)$$
  同时编码了位置信息 p和视觉信息d

• 该网络为多路复用图神经网络，其节点由两幅图的特征点共同组成。

  连接同一图像上两个节点的边为内边，其集合记为${ϵ}_{self}$，

  连接了来自两个不同图像的特征点的边的集合称为${ϵ}_{cross}$

  迭代更新A中的节点：
  $${}^{(\ell +1)}{x}_i^A{=}^{(\ell )}{x}_i^A+MLP({[}^{(\ell )}{x}_i^A||m_{ϵ\to i}])$$
  […||…]表示将节点i自己的状态和$ϵ$集合中的所有指向节点i的边信息级联，然后使用多层感知机

  B中节点相同。

  从$l$ = 1开始，如果是奇数那么$ \epsilon=\epsilon_{self}$,否则$\epsilon = \epsilon_{cross}$,也就是说在图像内和图像间交叉传播

2.注意力融合

​ 即 状态更新中的$m_{ϵ\to i}$的求解方法：
$$\begin{gathered} m_{ϵ\to i}=\sum _{(i,j)\in ϵ}{\alpha }_{ij}{V}_j \\ 这里使用注意力即加权方法 \\ 权值{\alpha }_{i,j}=softmax(q_i^T{K}_j),代表q与k之间的相似性度。 \end{gathered}$$
其中的q,v,k都是根据每一层迭代结果以及网络层的参数计算出来的：

已知$l$层迭代的参数为$w1,w2,w3,b1,b2,b3$,
$$\begin{gathered} q_i=W_1^{(\ell )}{x}_i^Q+b_1 \\ [k_j{v}_j{]}^T=[W_2{W}_3{]}^T{}^{(\ell )}{x}_j^S+[b_2{b}_3{]}^T \end{gathered}$$
经过L层的迭代最终的A 中的匹配描述符：
$$f_i^A=W{\cdot }^{(L)}{x}_i^A+b,\forall i\in A$$
B中类似。

3.最优匹配层

使用内积定义描述匹配符之间的相似度：
$$S_{i,j}=<f_i^A,f_j^B>,\forall (i,j)\in A\times B$$
由于肯定会有不匹配的点对，因此新建一个dustbin,专门存放此类特征点

• Sinkhorn Algorithm：使用Sinkhorn 算法对两幅图的特征点进行匹配，该算法是匈牙利算法的可导版本。

4.损失函数

同时最大化精度和召回率：
$$Loss=-\sum _{(i,j)\in M}log{\hat{P}}_{i,j}-\sum _{i\in I}log{\hat{P}}_{i,N+1}-\sum _{j\in J}log{\hat{P}}_{M+1,j}$$
这里的P是局部软匹配矩阵，行列和均为1

实验评估

速度：GTX1080上15fps