BundleFusion学习笔记(1):概述

本文系列深入探讨BundleFusion算法,包括定位与建图,重点介绍位姿求解和模型重建。BundleFusion能创建精细的室内3D模型,支持断点续建,但内存需求高,适合小场景。作者MatthiasNiessner和AngelaDai在立体视觉领域有诸多贡献,涉及VolumetricFusion相关研究。博客还将分享Win和Ubuntu平台的使用经验及踩坑记录,并提及相关模型简化与补全算法。

1. 前言

传统SLAM的任务基本可以分为两类:定位与建图。

定位任务重在计算相机位姿,得到的是稀疏的点云结果,目前比较好的有ORBSLAM和。

建图任务重在建出完整的模型,目前比较好的就是这个2016年的BundleFusion。

2. 笔记内容

本系列文章主要记录的内容有:

  1. 概述
  2. 主要算法(1)——位姿求解
  3. 主要算法(2)——模型重建
  4. 原作者近年其他相关工作(1)——大型室内3D数据集:MatterPort3D
  5. 原作者近年其他相关工作(2)——基于深度学习的模型补全:SGNN
  6. 原作者近年其他相关工作(3)——对简易的3D scan进行模型重建:tsdf-fusion
  7. BundleFusion(Win)使用&踩坑记录
  8. BundleFusion(Ubuntu)使用&踩坑记录

3. 简单介绍

3.1 一些性质

输入:rgbd数据(最好用连续帧)
输出:mesh模型

优点:重建模型精细度高、稳定的位姿计算、达到同步更新的计算速度、支持断点续建
缺点:因为具有断点续建的稳定性,所以很吃内存,大场景下对硬件要求较高。

适合场景:室内小场景

3.2 项目信息

BundleFusion官网中给出了一些示例数据集,质量不错(记得翻墙)

BundleFusion的官方github代码是基于Win VS的,不过也有自由开发者实现了在Linux中的版本,使用的踩坑见后续笔记。

3.3 相关内容

BundleFusion的主要作者:Matthias Niessner和Angela Dai在立体视觉领域做了很多工作,他们近十年的论文中有一条线就是围绕Volumetric Fusion进行的。这条技术线上发的论文感觉已经快把这个领域的坑都占满了。

这里再做一张技术路线的图片或者上次的那个表格。

本系列也会提到一些相关的论文或者算法,对BundleFusion领域的pipeline进行补充。

其他导引

有关重建任务,后续的简化和补全也有一些很好的算法,有兴趣请访问:

  1. 基于平面结构的模型面片简化——plane-rgbd-opt学习笔记
  2. 传统方法中模型简化与补全算法之王——PoissonReconstruction泊松重建学习笔记
实时全局一致的3D重建,使用动态表面重新整合技术实时,高品质,大尺寸场景的3D扫描是混合现实和机器人应用的关键。然而,可扩展性带来了姿态估计漂移的挑战,在累积模型中引入了显着的错误。方法通常需要几个小时的离线处理来全局纠正模型错误。最近的在线方法证明了令人信服的结果,但遭受以下缺点:(1)需要几分钟的时间才能执行在线修正,影响了真正的实时使用; (2)脆弱的帧到帧(或帧到模型)姿态估计导致许多跟踪失败;或(3)仅支持非结构化的基于点的表示,这限制了扫描质量和适用性。我们通过一个新颖的,实时的端对端重建框架来系统地解决这些问题。其核心是强大的姿态估计策略,通过考虑具有高效分层方法的RGB-D输入的完整历史,针对全局摄像机姿态优化每帧。我们消除了对时间跟踪的严重依赖,并且不断地将其定位到全局优化的帧。我们提出了一个可并行化的优化框架,它采用基于稀疏特征和密集几何和光度匹配的对应关系。我们的方法估计全局最优化(即,束调整的姿势)实时,支持从总跟踪故障(即重新定位)恢复的鲁棒跟踪,并实时重新估计3D模型以确保全局一致性;都在一个框架内。我们优于最先进的在线系统,质量与离线方法相同,但速度和扫描速度前所未有。我们的框架导致尽可能简单的扫描,使用方便和高质量的结果。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值