【论文笔记】视觉重定位 场景坐标回归 Efficient multi-output scene coordinate prediction 2020

Efficient multi-output scene coordinate prediction for fast and accurate camera relocalization from a single RGB image

巴黎中央理工

这是一篇混合方法，使用重新设计的CNN网络提取patches的特征，

然后输入到回归森林对patches的中心点像素坐标进行预测，得到多个3D坐标，选择置信度最高的一个作为预测，由此得到2D-3D对应关系。

最后根据Pnp和RANSAC求解相机位姿

论文方法

1.patch选择和对应标签制作

使用patch可以过滤掉与场景无关的位置（天空、墙壁等），去除噪声可以减少RANSAC的工作量进而加快运行速度。

本文只取以SURF特征点为中心的49X49的区域作为patch输入。

对应中心点的3D坐标标签计算：（使用RGBD信息，D为深度，p为图像二维坐标，k为相机内参）
$$相机坐标系下坐标：P_i^c=D_i{K}^{-1}\left[\begin{array}{c}{p}_i\\ 1\end{array}\right]$$

$$使用已知相机位姿转换到世界坐标系：\left[\begin{array}{c}{P}_i^w\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}{P}_i^c\\ 1\end{array}\right]$$

得到训练标签。

2.patch特征提取网络xyzNet

xyzNet和后面的回归森林是分开训练的，单独训练流程图：

在后面加了两个FC层用于输出位姿预测。

损失函数是绝对位姿误差：
$$l(p)=\sum _{p_i\in p}{\Vert P_i^w-{\hat{P}}_i^w\Vert }_2^2$$

3.多输出深度回归森林

论文使用回归森法融合xyzNet的输出特征

每个回归树中的每个节点都以全部特征向量为输入，来训练回归森林

对于每个回归树，选择一个特征子集S作为输入，分裂节点i将其分类到左子树和右子树，直到到达叶子节点：
$$h\left(f_j,{\theta }_i\right)=\{\begin{array}{ll}0,& \text{ if }d\left(re{f}_i,f_j\right)<{\tau }_i,\text{ go to left child node }\\ 1,& \text{ if }d\left(re{f}_i,f_j\right)⩾{\tau }_i,\text{ otherwise }\end{array}$$

其中fi为特征向量，${\theta }_i=d\left(re{f}_i,f_j\right)$为节点参数。

优化目标为最小化叶子节点的特征方差：
Q ( S i , θ i ) = ∑ d ∈ { L , R } ∣ S i d ( θ i ) ∣ ∣ S i ∣ V ( S i d ( θ i ) )  with  V ( S ) = 1 ∣ S ∣ ∑ m ∈ S ∥ m − m ˉ ∥ 2 2 \begin{array}{l}Q\left(S_{i}, \theta_{i}\right)=\sum_{d \in\{L, R\}} \frac{\left|S_{i}^{d}\left(\theta_{i}\right)\right|}{\left|S_{i}\right|} V\left(S_{i}^{d}\left(\theta_{i}\right)\right) \\\text { with } V(S)=\frac{1}{|S|} \sum_{m \in S}\|m-\bar{m}\|_{2}^{2}\end{array} Q(Si​,θi​)=∑d∈{L,R}​∣Si​∣∣Sid​(θi​)∣​V(Sid​(θi​)) with V(S)=∣S∣1​∑m∈S​∥m−mˉ∥22​​

为了使回归树尽可能平衡，减少树的深度，需要自适应的改变节点参数，因此作者设计为可学习的参数形式，其损失函数：
$${\theta }_i=\left\{{\mathrm{ref}}_i,{\tau }_i||S_i^L|=|S_i^R\mid \right\}$$
最终每个叶节点的输出可以根据其置信度来选择出最有可能的3D坐标预测，得到2D-3D对应关系

4.位姿估计

先用RANSAC和PｎP去除离群点，然后生成位姿估计。RANSAC中的内点数目可以作为最后预测位姿的置信度。

5.实验验证

7—scenes:

户外数据集：cambridge

和AC差不多，超越PoseNet2

作者认为没有显著超越AC的原因是在特征点密集的场景中，需要更深的回归树来进行分类。、

在重复结构、遮挡、运动场景、动态环境下性能更好。