【论文笔记】To Learn or Not to Learn: Visual Localization from Essential Matrices（ICRA 2020）

Why essential matrices? (重点，为啥用这玩意就好呢)

本文说，回归essential matrices相比较类似posenet这样的直接回归absolute pose 可以避免权重问题？？（不明白啥是权重问题），导致了更加精确的结果。

 

文中提到densevlad相比较别的image retrieval pipeline 的泛化能力要好一些

 

Pair selection：

    为了增加结果的精度需要保证query和database的baseline，因此topk的image retrieval结果取根上次pose的min/max距离。

Pairwise Relative Pose Estimation：

    计算每个query和databse之间的essential matrices（文中作者提到了三种方法进行对比），然后每个essential matrices可以分解出4个pose矩阵（R t）。

 

Absolute Pose Estimation via RANSAC：

    解释了两个pair match image 对可以确定r t（绝对姿态），因此在ransac框架中得到最终的absolute pose

 

整体pipeline如下：

首先densevlad 进行image retrieval，然后选取pair对。之后求解pair对的E矩阵。最后ransac loop得到absolute pose

 

优势：比posenet这行的直接回归绝对姿态的要好一些（感觉可能是因为有ransac机制可以不同的结果之间相互校验吧）。

            不用3d模型（例如点云），只需要存database image 的global feature（image retrieval使用） + pose即可 +（如果优化的话可以加上co-visibility、DBSCAN等进行优化image retrieval的结果）（存储确实很简单）

 

劣势：感觉时间会很慢，因此需要进行两两匹配，（印象中NC match也很慢（网络太大），可以考虑考虑换成superglue这样的gnn两层网络进行feature match）