DKM: Dense Kernelized Feature Matching for Geometry Estimation

Computer Vision Laboratory Linkoping University 2023CVPR

Dense matching，利用核函数回归全局匹配，使用堆叠特征图和深度卷积核扭曲细化，使用深度一致性来学习稠密匹配的置信度（不确定性建模），平衡采样方法（用于几何估计）

Background

Detect-base:在有挑战的场景可靠的和可重复的关键点难以提取

Detect-free:粗阶段稀疏匹配存在网格伪影导致重复性不好

稠密匹配不存在这些问题，但是后续估计存在一些最小问题。在不匹配的区域存在不准确的匹配对，因此需要估计不确定性。发现其中PDC在不可匹配的区域给了高的确定性。因此本文的不确定性建模进行修改

Motivation

不确定性估计和几何估计问题

Idea

不确定性：使用深度一致性，一个像素与3D重建有一致匹配的可能性

几何估计：平衡采样法（需要分布好的匹配用于估计，采样好的匹配对）

Method

1.输入两幅图像，利用resnet完成多尺度的特征提取

2.将粗分辨率的特征图输入全局匹配器得到coarse warp and certainty,此过程利用高斯过程编码嵌入了不确定性，再解码

3.将得到的coarse warp and certainty和多尺度的特征图，featureB的warp拼接进行细化，得到细化后的匹配和不确定性

4.使用了一个平衡采样方法得到最终用于估计几何位姿的点

5.RANSAC

Global matcher

约等于GMFlow（其余光流算法）计算cost volume后得到相似度，再解码得到坐标值。而本文利用高斯过程计算相似度，使相似度大的值更大，小的值更小，平滑整个过程。最终解码得到warp和certainty

 

将global match作为一个坐标回归问题，直接回归得到B图中的坐标。使用联合高斯回归

GP由核唯一定义，他定义了输出的协方差，因此必须是一个正定函数，使用了指数余弦相似核

我们假设得到的输出存在噪声，给出了基于B的特征后验条件公式，其中u是后验均值，Σ是后验协方差（即计算噪声后的B图坐标的位置）

坐标嵌入：解决坐标多模态问题，GP的输出后验是单模态，因此会降低多模态匹配的性能，因此使用了余弦嵌入，阻止多模态

解码：

解码得到warp，因此将预测的平均值重映射到网格的形式。使用CNN解码，其中使用了步长为32和16的特征图完成global match，步长16的解码器从32的中获取上下文信息

Refine

细化预测残差偏置，重复直到原分辨率

输入表示：使用的B的局部correlation,B的扭曲特征图，warp，certainty

细化框架：深度独立核

不确定性估计和采样

不确定性真值：利用了3D模型和稠密深度图，使用真值深度将A图转为B得到一致匹配，然后利用相对深度一致性约束，Z表示深度，A-B的深度使用真实的3D模型投影得到

采样：使用不确定性作为权重采样，为了使得得到的匹配具有多样性，本文首先使用估计的不确定性采样，再计算4D匹配空间的核密度估计，最后为每个匹配加权（使用KDE的倒数）

损失：

每个步长使用独立的损失，warp使用l2损失，不确定性使用交叉熵损失（估计与深度一致性）