bundlefusion论文阅读笔记

 

4. 全局位姿对齐(glob pose alignment)

输入系统的是使用消费级的传感器获取的RGBD数据流，并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应，然后根据这些对应信息找到刚体相机变换Ti。Ti(p) = Rip + ti(Ri为旋转，ti为平移)，Ti实现从相机系到世界系的映射。并且将系统的第一帧作为世界系的坐标系。

4.1 搜索特征匹配（Feature Correspondence Search）

在这个系统框架下，首先搜索图像画帧之间的saprse correspondences，包括特征提取，特征匹配和外点剔除步骤。这些稀疏的对应将会被用在接下来的dense photometric correspondences的搜索中。针对每一个input frame都要先提取sift特征点，将提取的这些点与之前所有看到的帧进行匹配。之所以使用sift特征，是因为他考虑了相机扫描过程中发生的的图像的位移旋转和尺度的变化。搜索correspondence的工作都是在GPU中完成的。在这样的分辨率下，提取一帧图像的特征和计算描述子需要4-5ms，匹配两幅图像需要大概0.05ms。基于以上的一些指标，该系统可以实时处理大致20k的图像。

4.1.1 correspondece Filter

使用几何和光度的连续性的方法来过滤掉检测的不对的correspondences.

Key Point Correspondence Filter

图像Fi和图像Fj上的特征的3D correspondences, key point correspondence filter可以找到一组可以表示一个稳定的分布和连续的刚体变换的feature correspondences.对于新加入的correspondence我们计算一个刚体变换，使用Kabsch算法可以用这个刚体变化最小化当前correspondences的Pcur和Qcur之间的距离。随后我们将执行一些条件分析，包括点Pcur和Qcur的协方差和Pcur和Qcur之间的cross-convariance、如果任何的condition numbers大于100，那么这个系统被认为是不稳定的。如果Tij下特征点的重投影误差大于或者在上述condition number中系统被认为是不稳定的情况下，这些correspondences将被删除。除非删除情况不出现或者此时没有足够的特征点用来计算刚体变换。如果根据找到的correspindences已经计算出了一个刚体变换，那么就讲Fi和Fj之间的这些correspondences删除。

Surface Area Filter

另外，我们还检查检测到的特征张成出的面是否足够大，因为我们认为，如果找到的correspondences张成的平面比较小，那么此时的correspondences趋于ambiguity.对于图像Fi和图像Fj,我们估计Fi图像的3D点P张成的面的区域面积，以及Fj图像的3D点Q张成的面的区域面积，然后我们将两个三维的surfaces，根据他们的principal axes向平面投影。如果P和Q张成的面积不足0.032平方米，那么这组matches被认为是ambiguous并且被删除。

Dense Verification

最后一步是执行稠密校验，包括稠密光度校验和稠密几何校验，对于图像Fi和图像Fj，我们使用上述通过key point correspondence filter计算得到的相对变换Tij,来对齐图像Fi和图像Fj之间的坐标系。为了找到有效的像素对应(pixel correspondence),我们测量重头影两个方向的，平均深度差别（depth discrepancy）, 法向量偏差(normal deviation), 光度一致性(photoconsistancy), 并且计算这些pixel correspondences的重投影误差。

4.2 等级化的优化（Hirerachinal Optimization）

为了能够实时的处理成千上万的RGBD图像，我们使用了等级化的优化策略。输入的连续的图像序列被分割成小的chunk。在最低等级的优化中，我们在chunk内部实时优化。在第二等级优化中，使用所有的chunks中的代表关键帧以及该关键帧所在chunk内的相关的特征数据进行全局的优化。为了提高处理效率，这一步骤只在经过滤波的并且下采样之后的图像上执行。注意，为了提高效率，当有一个新的RGBD数据输入到系统时，经过滤波和下采样处理的彩色图C和深度图D被缓存下来。相机的空间位置Pi和每一个深度的法向量Ni也被计算兵器被缓存下来。

LocalIntra-Chunk Pose Optimization(chunk内部的位姿优化)

chunk内部的位姿对齐优化时基于该chunk内的11个连续的图像帧数据的。连接的两个chunk之间有一个重叠的图像帧。局部位姿优化的目标是求解该chunk内任意一帧图像相对于chunk中的第一帧图像的变换{Ti}.通过搜索correspondences，构建代价方程，然后最小化代价方程的方式求解，代价方程中包含了稀疏特征correspondecs和dense photometric and geometric correspondences约束。因为每一个chunk内只包含很少的连续图像帧，并且chunk内的位姿变换也很小，所以可以将每一个Ti初始化为单位阵。为了确保局部位姿优化的精度，我们使用优化的局部轨迹对chunk内的每一对图像实时dense verification测试，如果重投影误差太大，大于0.05m,这个chunk就会别删除，并且也不会被用到全局优化中来。

Per-Chunk Keyframes

一旦一个chunk已经被处理完成，我们将该chunk中的第一帧图像定义为这个chunk的关键帧，同时也会计算这些关键帧的特征，得到keyframe feature set.根据chunk的优化的位姿估计，计算chunk内部的特征点在世界空间中的3D位置。我们将在<0.03m空间中的3D点用一个最佳的3D点来表示。一旦这个全局的关键帧和关键帧特征序列被创建，该chunk data(包括chunk内的特征点，描述子，和correspondences) 将被删除，因为在第二层的位姿对齐中用不到他们了,但是他们的图像还有,图像的位姿态还有,当在全局优化中关键帧位姿被优化了,则这个关键帧所处的chunk中的其他帧的位姿将被被更新,要知道在intro-chunk优化中,我们已经知道了chunk中的任意一帧相对于第一帧的相对位姿.。

Global Inter-Chunk Pose Optimization

和chunk内的位姿优化类似，chunk间的全局位姿优化也是进行全局特征点之间的稀疏特征匹配搜索和外点剔除。如果一个关键帧在过去看到的关键帧中找到任意的匹配，那么这个关键帧被标记为“独立” individual, 但是仍然被作为候选，允许被再次校验，当将来得到关键帧与该关键帧之间有联系。全局位姿优化需要计算所有全局关键帧的global alignments{Ti}，同样需要构建代价方程，最小化代价方程求解，同样在代价方程中包括，稀疏和稠密两种约束。使用对应的intra-chunk中优化的位姿的depta 变换来初始化全局关键帧的位姿。我们得到所有输入帧的全局一致性变换，通过将对应的delta transformations作用到，chunk中的每一帧图像，这样就可以得chunk内没一帧图像的位姿。

5. Dynamic 3D Reconstruction(动态的3D重建)

需要根据最新优化的相机位姿，不断更新重建的模型。我们采用integration和de -integration的方式来更新模型的表示。当累计误差过大，或者特征过少导致的模型重建错误，可以被很好的恢复，一旦一个好的位姿估计可以获取到。

5.1 Scene Representation

通过将RGBD数据融合到TSDF模型中来恢复场景的几何，使用voxel hashing的方式来存储TSDF中的数据。根据spatial harshing将TSDF存储在一个稀疏的volumetric grid中。

5.2 Integration and De-integration

系统中分两种pose一种是integration pose，一种是optimized pose是经过优化的位姿，首先我们按照integration pose将图像数据融合到TSDF模型中，当位姿态被优化更新之后，我们就需要同时更新重建的模型，那么就需要按照integration pose将TSDF中的相关数据从TSDF中剔除掉，然后再按照优化后的位姿，重新将刚才被剔除出来的数据，融合到TSDF中，实现地图更新的目的。