读real time localization and 3D reconstruction笔记-CSDN博客

本文链接：https://blog.csdn.net/ssssjiang/article/details/84953856

在本文中，我们描述了一种估计校准摄像机（在实验车辆上定位）和环境的立体几何形状的运动的方法。使用的唯一数据是视频输入。实时计算相机运动的稳健估计，选择关键帧并允许特征3D重建。由于引入了快速且局部的束调整方法，该算法特别适合于长图像序列的重建，该方法确保沿着序列估计的相机姿势的良好准确性和一致性。与全局捆绑调整相比，它还大大降低了计算复杂性。

一增量算法的描述

算法首先确定将用于设置全局帧和系统集合的第一个三元组图像。然后用特征检测和匹配对视频流的每个帧执行稳健的姿势计算。选择一些帧成为用于3D点三角测量的关键帧。系统以增量方式运行，当添加新的关键帧和3D点时，我们继续进行局部束调整。

1.1兴趣点的检测和匹配

检测哈里斯角，然后对于图1中的兴趣点，选择图2中定义的感兴趣区域中一些候选对应点，然后计算两个图中兴趣点和候选对应点及候选点邻域的相关，选择相关高的对作为对应点对。

1.2序列初始化

我们要选择相对较远的帧才能计算极线几何，但是又要有足够多的共同点。

1.选择我们 $我_ {1}$ 作为关键帧， $I_ {2}$ 距离 $我_ {1}$ 稍远，但是有M个匹配的兴趣点， $I_{2}$ 与 $我_ {3}$ 也有M个匹配的兴趣点，而 $我_ {3}$ 与 $我_ {1}$ 至少有 μ{}” 个兴趣点。

2. $我_ {1}$ 作为世界坐标系。

3.用5点算法和RANSAC算前三个帧相对位姿。

4.兴趣点三角化为3D点，用 $我_ {1}$ $我_ {3}$ 中的匹配点。

5.LM算法完成位姿估计和三维坐标优化。

1.3实时鲁棒的姿态估计

我们假设相机姿势 $C_{1}$ 至 $C_{i-1}$ 先前已在参考重建框架中计算过。目标是计算相机位姿，我们匹配最后一帧和最后选择的关键帧 $I_{i-1}$ 确定一组点p，它们在相机 $(C_{i-2}C_{i-1}C)$ 上投影位置已知，而且这组点的3D位置也已经算过了。

1.从 $(C_{i-2}C_{i-1})$ 重建的3D点，我们使用Grunert姿势估计算法来计算相机的位置C.（RANSAC过程给出了相机的初始估计Ç然后优化RT，用快速LM优化。）

2.计算我们相机的协方差矩阵接，我们可以画90％的置信椭圆，如果Cov是协方差矩阵那么置信椭圆有 $\ bigtriangleup x ^ {T} Cov ^ { - 1} \ bigtriangleup x ^ {T} \ leq 6.25$ ， $\ bigtriangleup x ^ {T} Cov ^ { - 1} \ bigtriangleup x ^ {T}$ 服从 $\ chi _ {2}$ 分布。