BundleFusion 转

最新推荐文章于 2024-03-07 16:30:07 发布
最新推荐文章于 2024-03-07 16:30:07 发布
阅读量502 收藏 4
点赞数
分类专栏： SLAM
原文链接：https://blog.csdn.net/ffcjjhv/article/details/89221992
版权

https://blog.csdn.net/ffcjjhv/article/details/89221992

 

 

介绍

在深度相机室内实时稠密三维重建领域，BundleFusion是目前效果最好的开源算法框架。论文地址：https://arxiv.org/pdf/1604.01093.pdf
演示视频截取片断：
在这里插入图片描述
视频地址：https://www.youtube.com/watch?v=keIirXrRb1k
在演示视频中，structure sensor是卡在iPad上，将采集到的数据通过无线网络传给台式机（带GPU），匹配、优化和重建工作都是在台式机上运行，重建的结果再通过无线网络传到iPad上显示。
重建效果图：
在这里插入图片描述

一、配置

1、cuda8.0安装

#建议安装：cuda8.0，vs2013
#卸载cuda10.0
在控制面板/卸载程序，卸载掉所有带有NVIDIA的程序，卸载顺序不影响
#下载cuda8.0：https://developer.nvidia.com/cuda-80-ga2-download-archive ，并运行安装。
在这里插入图片描述
#验证安装成功，输入nvcc --version
在这里插入图片描述

2、DirectX SDK安装

下载地址：http://download.microsoft.com/download/A/E/7/AE743F1F-632B-4809-87A9-AA1BB3458E31/DXSDK_Jun10.exe ，运行安装。

#若运行安装出现 错误 ErrorCode:s1023
解决办法1：
在这里插入图片描述
控制面板卸载以上两项，再重新安装DXSDK_Jun10.exe即可。

大部分通过这个方法可以解决，如果以上两项不存在或者卸载后仍不能解决问题（比如我），可能Microsoft Visual C++ 运行库安装有问题，得删除并重新安装 Microsoft Visual C++ 运行库，步骤如下：

1、控制面板卸载名称包含“Microsoft Visual C++”和“Redistributable”的所有程序
2、下载并安装以下所有软件：

Microsoft Visual C++ 2005 SP1 Redistributable (x86)
Microsoft Visual C++ 2005 SP1 Redistributable (x64)
Microsoft Visual C++ 2008 SP1 Redistributable (x86)
Microsoft Visual C++ 2008 SP1 Redistributable (x64)
Microsoft Visual C++ 2010 SP1 Redistributable (x86)
Microsoft Visual C++ 2010 SP1 Redistributable (x64)
Microsoft Visual C++ 2012 Update 4 Redistributable(x86 和 x64)
Microsoft Visual C++ 2013 Update 5 Redistributable Package(x86 和 x64)
Microsoft Visual C++ 2015 Update 3 Redistributable(x86 和 x64)

注意：

  • 每个下载的文件名均相同，因此在安装它之前，请确保不覆盖之前的文件。下载一个安装一个，然后再下载下一个并安装，依此类推。
  • 64 位系统上需要 x86 和 x64 版本。32 位系统只需要 x86 版本。

3、重启后，控制面板卸载2010两项，再重新安装DXSDK_Jun10.exe，即可解决。

二、vs2013代码生成

BundleFusion GitHub地址：https://github.com/niessner/BundleFusion
配置过程主要参考这里

从GitHub上下载该BundleFusion，并解压，得到工程 BundleFusioin-master

1、mLib与 mLib external配置

mLib

下载地址：https://github.com/niessner/mLib ，解压后，替换掉目录 BundleFusion-master\external\mLib

mLib external

下载地址：https://www.dropbox.com/s/fve3uen5mzonidx/mLibExternal.zip?dl=0 ，解压后，放到 BundleFusioin-master 同级目录,网址访问不了的话可以用我传到网盘的mLibExternal.zip：链接：https://pan.baidu.com/s/1CJysQCHl4t7RPfvqliwfew 提取码：0x4t

最终目录结构：

bundlefusion
	BundleFusion-master/
	  external/
	    mLib/ # this is the submodule you replaced
	      data/
	      src/
	      [...]
	  FriedLiver/
	    [...]
	    FriedLiver.sln
	    [...]
	mLibExternal/ # you downloaded this from Dropbox
	  include
	  libsWindows
	  [...]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

2、cuda设置

修改cuda版本

用VS2013打开 BundleFusion-master\FriedLiver\FriedLiver.sln 工程，如果cuda版本不是原代码设置的cuda7.0，就会出现如下错误：
在这里插入图片描述
修改 BundleFusion-master\FriedLiver\FriedLiver.vcxproj 文件，用vs code打开该文件，并修改如下两行：
在这里插入图片描述
在这里插入图片描述
再次打开就不会报错了。

显卡计算能力设置

选择适合你显卡的compute能力，显卡计算能力在这里查询
我的笔记本显卡NVIDIA GeForce MX150，计算能力与GeForce 940M等同，为5.0，在工程的配置选项中设置如下：
在这里插入图片描述

3、相机类型设置（以apt0.sens离线数据为例）

输入类型

输入数据可以为Kinect v1，Kinect v2，PrimeSenseSensor，IntelSensor，RealSense，StructureSensor以及SensorDataReader（离线数据）
具体可以查看FriedLiver.cpp中7-103行的内容

没有深度相机的，以离线数据office3.sens为例，下载地址：http://graphics.stanford.edu/projects/bundlefusion/

修改GlobalAppState.h

因为使用的是离线数据，将GlobalAppState.h中深度相机全部注释掉。
在这里插入图片描述
注：如果用深度相机（如：Kinect v1）实时运行，用哪个将哪个取消注释，并安装对应SDK。

4、生成FriedLiver.exe

修改为 Release 版本，然后选择 生成->生成解决方法
编译通过后，如下图：
在这里插入图片描述
在BundleFusion-master\FriedLiver\x64\Release中生成可执行文件FriedLiver.exe

三、运行与结果

1、配置文件修改

将BundleFusion-master\FriedLiver 目录下的 zParametersBundlingDefault.txt 和 zParametersDefault.txt 拷贝到 BundleFusion-master\FriedLiver\x64\Release

修改zParametersDefault.txt

用vs code打开 zParametersDefault.txt 配置文件，选择输入类型，这里使用离线数据，修改第2行，设置s_sensorIdx = 8 。如果用深度相机（如：Kinect v1）实时运行，修改为对应的序列号。
在这里插入图片描述
修改第49行，设置s_hashNumSDFBlocks = 100000
在这里插入图片描述
修改第58行，设置输入路径s_binaryDumpSensorFile = "../data/office3.sens"
在这里插入图片描述
将下载的office3.sens放置到BundleFusion-master\FriedLiver\x64\data

修改zParametersBundlingDefault.txt

双击运行后，若出现窗口崩溃或者没有响应直接跳出，如下图：
在这里插入图片描述
用vs code打开 zParametersBundlingDefault.txt 配置文件，修改第30行，设置s_maxNumImages = 400

2、运行结果

配置修改后，双击运行FriedLiver.exe
在这里插入图片描述
按下tab键，如下图所示，按照提示与软件进行交互，按下ctrl+2显示带颜色深度，按下ctrl+3显示彩色视频流，按下ctrl+9导出当前模型到FriedLiver\x64\Release\scans\scan.ply ，具体实现代码查看FriedLiver\Source\DepthSensing\DepthSensing.cpp
在这里插入图片描述

3、模型生成

运行结束后，BundleFusion-master\FriedLiver\x64\data\office3.sens同目录下生成office3.ply，用meshlab打开
在这里插入图片描述

4、在Kinect v1上的实时运行

安装 Kinect SDK v1.8

Kinect for Windows SDK v1.8
Kinect for Windows Developer Toolkit v1.8
下载后默认安装

设置Kinect v1输入

重新打开 BundleFusion-master\FriedLiver\FriedLiver.sln 工程，将GlobalAppState.h中第三行取消注释
在这里插入图片描述
选择 生成->生成解决方法，即可编译通过。

zParametersDefault.txt 配置文件，选择输入类型，这里使用Kinect v1，修改第2行，设置s_sensorIdx = 0

实时运行

插上Kinect v1，双击运行FriedLiver.exe
在这里插入图片描述

jack_201316888
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
三维重建 3D reconstruction 有哪些实用算法？
3D视觉工坊
05-21 1834
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达本文转自极市平台三维重建 3D reconstruction 有哪些实用算法？https://www.zhihu.com/quest...
BundleFusion代码框架讲解
weixin_38636815的博客
08-06 5633
背景：前面用了几篇文章来记录和总结了，我在研究bundlefusion过程中遇到的一些问题以及解决方法，本来想实现给bundlefusion输入先验轨迹，然后让其根据给定的轨迹进行重建，这样即便在环境比较恶劣的情况下，也可以使用给定的位姿完成重建任务，但是这段时间对bundlefusion有了新的认识，意识到这件事没有我想象的那么简单。bundlefusion的研究工作就要告一段落了，所以最后我对bundlefusion做一个大的总结，把网络上一些经典的文章，整合起来。 一、 首先是先明白bundlefu
三维实时重建BundleFusion
haima1998的专栏
09-24 6971
转自：计算机视觉方向简介 | 深度相机室内实时稠密三维重建 - 知乎 室内场景的稠密三维重建目前是一个非常热的研究领域，其目的是使用消费级相机（本文特指深度相机）对室内场景进行扫描，自动生成一个精确完整的三维模型，这里所说的室内可以是一个区域，一个房间，甚至是一整栋房屋。此外，该领域注重(一般是GPU上)实时重建，也就是一边扫描就可以一边查看当前重建的结果。如下所示。 主要的应用包括室内的增强现实游戏、机器人室内导航、AR家具展示等。 什么原理？ 在介绍原理前，先简单了解一下历史发展。 1
BundleFusion的实现——RealSense D435i+Win10+VS2013+cuda8.0
行秋的博客
05-16 4745
前言 BundleFusion官网：https://graphics.stanford.edu/projects/bundlefusion/ 运行环境配置 VS2013 下载地址：https://docs.microsoft.com/en-us/visualstudio/releasenotes/vs2013-community-vs CUDA8.0 下载地址：https://developer.nvidia.com/cuda-80-ga2-download-archive DirectX
BundleFusion学习笔记(1)：概述
qq_41318333的博客
11-23 1714
介绍 传统SLAM的任务基本可以分为两类：定位与建图。定位任务重在计算相机位姿，得到的是稀疏的点云结果，目前比较好的有ORBSLAM和；而建图任务重在建出完整的模型，目前比较好的就是这个2016年的BundleFusion。 笔记内容 本系列文章主要记录的内容有： BundleFusion基本步骤 BundleFuison作者做的其他和SLAM有关的工作 BundleFusion使用踩坑记录 ...
BundleFusion复现手册——Win10+VS2013+Cuda8.0+KinectV2实时重建
Man_1man的博客
08-31 2575
本文实现了BundleFusion基于Win10+VS2013+Cuda8.0对于离线数据和基于Kinectv2相机实时重建，并对遇到的问题提供解决方法
BundleFusion-master
12-19
实时全局一致的3D重建，使用动态表面重新整合技术实时，高品质，大尺寸场景的3D扫描是混合现实和机器人应用的关键。然而，可扩展性带来了姿态估计漂移的挑战，在累积模型中引入了显着的错误。方法通常需要几个小时的...
BundleFusion离线数据生成 .sens
02-02
生成BundleFusion离线数据 .sens文件 1. 将自己采集的数据命名为BundleFusion需要的格式，如彩色图的命名格式是frame-000000.color.png，深度图的命名格式是frame-000000.depth.png， 其中深度图为16ibt，数据类型...
cpp-BundleFusion使用OnlineSurfaceReintegration实时GloballyConsistent3D重建
08-16
BundleFusion: Real-time Globally Consistent 3D Reconstruction using Online Surface Re-integration
VIM Bundle 配置
12-25
在VIM中，"Bundle"指的是用于管理和安装插件的机制，这使得我们可以方便地扩展VIM的功能。下面将详细介绍VIM Bundle配置的相关知识点。 ### VIM Bundle是什么？ VIM Bundle是一种组织和管理VIM插件的方式。它允许...
testBundle
05-16
在Android开发中，Bundle是一个非常重要的工具类，用于在组件之间传递数据。它是一个键值对的集合，通常被用来在Activity、Fragment或者Intent之间共享数据。本文将深入解析`Bundle`类及其在Android基础知识中的应用...
使用BundleFusion重建個人數據集【全網最詳細】
最新发布
eurus_的博客
03-07 1026
使用BundleFusion進行個人數據集的重建，無需生成sens，使用docker
Intel RealSense D435i + BundleFusion 实现实时三维建图
热门推荐
Claiborne696的博客
08-11 1万+
内容概览摘要操作环境RealSense D435i 介绍BundleFusion工程环境配置安装 RealSense SDKRealSense SDK 本地环境配置BundleFusion 工程属性表相机类型设置修改 GlobalAppState.h 文件修改 FriedLiver.h 文件添加 RealSense 相关实现类生成解决方案error C3646出错原因解决方案error LNK2001出错原因解决方案配置文件修改修改 zParametersDefault.txt修改 zParametersB
三维重建：基于RGB-D相机的三维重建总览(静态&动态)
qq_29462849的博客
05-21 2767
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达来源丨三维匠心编辑丨3D视觉开发者社区✦导读✦本文作者对基于RGB-D相机的三维重建做了系统性的总结与分析，对各类算法都有简要的介绍，逻辑清晰，讲解全面细致，可以说是一篇干货满满的文章，不仅如此还配以生动的GIF图，让其趣味十足，非常推荐想要了解这方面知识的开发者阅读！✦目录0 “基于RGB-D相机的三维重建"和传...
bundle fusion代码精讲
cc13949459188的博客
11-06 1525
引言 慕尼黑工大的bundlefusion开发至少超过数年时间，至今在RGBD类型的开源项目中依然是性能较佳的存在 原版在Windows环境中完成，且不易移植到其他框架中，东北大学的关老师做了Linux环境的移植，还在进行中 笔者在slam领域历时不久，且欣喜此份代码的高完成度和实时性，决定对各个模块逐一注释修改，希望将来有所启迪 1，FriedLiver/Source/FriedLive...
bundlefusion论文阅读笔记
weixin_38636815的博客
07-12 1590
4. 全局位姿对齐(glob pose alignment) 输入系统的是使用消费级的传感器获取的RGBD数据流，并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应，然后根据这些对应信息找到刚体相机变换Ti。Ti(p) = Rip + ti(Ri为旋转，ti为平移)，Ti实现从相机系到世界系的映射。并且将系统的第一帧作为世界系的坐标系。 4.1 搜索特征匹配（Feature Correspon...
BundleFusion论文解析
wamdell的博客
09-06 2861
BundleFusion论文解析一.创新点二.框架处理流程三.各模块详解1. 特征一致性策略1.1 稀疏一致性：1.2 稠密一致性(根据稀疏一致性得到的位姿关系，通过以下方式进行特征优化与检测)：2. 分层优化策略2.1 local Intra-Chunk Pose Optimization2.2 per-Chunk keyframes3. 建立局部/全局优化目标函数4. 优化目标函数求解策略四.算法不足及改进意见 参考链接：BundleFusion解析 一.创新点 采用space-then-dense的
基于rgbd相机的三维重建算法概要-BundleFusion
chennuo0125的博客
12-09 1804
参考 仓库 https://github.com/victorprad/InfiniTAM 论文 https://arxiv.org/pdf/1604.01093.pdf BundleFusion框架 BoundleFusion算法的核心是抛弃了常用的slam框架(帧间匹配+回环检测优化)，作者认为帧间匹配特别脆弱容易出现跟踪失败的问题，所以作者采用了一种新的框架来实现实时的全局位姿优化，既然是实时全局位姿优化那就不需要回环检测要消除累积误差。为了实现实时的全局位姿优化，作者提出了局部优化和全局优化两步走
bundlefusion算法的不足
07-23
BundleFusion算法虽然在实时重建和场景重建方面有一定的优势，但也存在一些不足之处： 1. 对大规模场景的处理能力有限：BundleFusion算法在处理大规模场景时可能会面临内存和计算资源限制的挑战。由于需要存储和处理大量的点云数据，算法的实时性能可能会受到限制。 2. 对运动快速或动态场景的鲁棒性较差：BundleFusion算法在处理运动快速或动态场景时可能会出现模糊或伪影等问题，导致重建结果的不准确性。算法对于相机姿态变化和场景动态性的鲁棒性有待改进。 3. 对纹理缺乏鲁棒性：由于BundleFusion算法主要依赖于特征点的提取和匹配，对于纹理缺乏或低纹理区域的处理可能会存在困难。这可能导致在低纹理区域的重建结果较差。 4. 对平面结构和非平面结构的处理不平衡：BundleFusion算法在处理平面结构和非平面结构时可能存在处理不平衡的问题。对于非平面结构，算法可能需要更复杂的建模和优化策略来捕捉其几何形状和细节。 5. 受限于输入传感器：BundleFusion算法对输入传感器的要求较高，需要精确的相机姿态和深度图像信息。这可能限制了算法在一些设备或传感器上的适用性。 综上所述，BundleFusion算法在实时重建和场景重建方面具有一定的局限性。然而，随着技术的不断发展和改进，这些问题有望得到进一步解决，并提高算法的稳定性和鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值