BundleFusion复现手册——Win10+VS2013+Cuda8.0+KinectV2实时重建

最新推荐文章于 2024-07-25 21:56:26 发布
最新推荐文章于 2024-07-25 21:56:26 发布
阅读量2.5k 收藏 30
点赞数 8
分类专栏： SLAM三维重建 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Man_1man/article/details/126621624
版权

文章目录

一 摘要

BundleFusion由斯坦福大学、德国 MPII 以及微软研究院共同开发，用于实时构建高精度三维模型，是目前效果最好的开源算法框架。
论文：《BundleFusion: Real-time Globally Consistent 3D Reconstruction using Online Surface Re-integration》。
论文地址：https://arxiv.org/pdf/1604.01093.pdf
视频地址：https://www.youtube.com/watch?v=keIirXrRb1k
GitHub 地址：https://github.com/niessner/BundleFusion
本文主要介绍了如何使用官方离线数据以及kinectv2深度相机在开源算法框架 BundleFusion 中实现实时三维建图。

二 操作环境

在我的GTX1060台式机和GTX1065Ti笔记本均运行成功

环境项版本/型号
操作系统Win_x64
开发工具集Visual Studio 2013
计算架构CUDA8.0
深度相机Kinect V2
显卡GTX1060/GTX1065Ti

三 工程环境配置

3.1 装VS2013和CUDA8.0

一定要先安装VS再装CUDA8.0
CUDA8.0地址：https://developer.nvidia.com/cuda-80-ga2-download-archive
其他版本地址：https://developer.nvidia.com/Cuda-Toolkit-archive

3.2 DirectX SDK 安装

下载地址 http://download.microsoft.com/download/A/E/7/AE743F1F-632B-4809-87A9-AA1BB3458E31/DXSDK_Jun10.exe

3.3 Kinect SDK 2.0

Kinect SDK 2.0 下载地址

下载并安装，连接上Kinect相机，并可以成功输出图像。
如果只想跑离线数据可以跳过这一步。

四 VS2013代码生成（以离线数据为例）

**此部分为以离线数据集为例，如若使用Kinect v2或其它深度相机直接略过此章直接跳到第五部分**

BundleFusion GitHub 地址：https://github.com/niessner/BundleFusion
从 GitHub 上下载，并解压，得到工程 BundleFusioin-master

4.1 依赖配置

mLib下载地址：https://github.com/niessner/mLib
解压后，替换掉目录 BundleFusioin-master/external/mLib

mLib external 下载地址
https://www.dropbox.com/s/fve3uen5mzonidx/mLibExternal.zip?dl=0
解压后，放到 BundleFusioin-master同级目录
网址访问不了的话可以从这个网盘下
https://pan.baidu.com/s/1CJysQCHl4t7RPfvqliwfew 提取码：0x4t

最终目录结构如下

BundleFusion-master/
	external/
		mLib/
			data/
			src/
			[...]
	FriedLiver/
		[...]
		FriedLiver.sln
		[...]
mLibExternal/
	include/
	libsWindows/
	[...]

4.2 CUDA设置

用 VS2013 打开 BundleFusion-master/FriedLiver/FriedLiver.sln 工程，如果 cuda 版本不是原代码设置的 cuda7.0，就会出现如下错误：
在这里插入图片描述

修改 BundleFusion-master/FriedLiver/FriedLiver.vcxproj 文件，用vscode、notepad++、记事本等打开该文件，并修改如下两行：

#第35行 7.0改为8.0

在这里插入图片描述

#第375行 7.0改为8.0

在这里插入图片描述

4.3 显卡能力设置

右键项目，打开属性页，设置显卡能力等级，选择适合你显卡的 compute 能力，显卡计算能力在这里查询

在这里插入图片描述

4.4 相机类型设置（以office3.sens离线数据为例）

输入数据可以为 Kinect v1，Kinect v2，PrimeSenseSensor，IntelSensor，RealSense，StructureSensor 以及 SensorDataReader（离线数据）
具体可以查看FriedLiver.cpp中 7-103 行的内容

	离线数据下载地址：
	http://graphics.stanford.edu/projects/bundlefusion/

	因为使用的是离线数据，将GlobalAppState.h中深度相机全部注释掉

在这里插入图片描述

4.5 生成 FriedLiver.exe

修改为 Release 版本，然后选择 生成->生成解决方法
编译通过后，如下图：

在这里插入图片描述

	编译可能失败，如果遇到错误可以看最后一章

在BundleFusion-master/riedLiver/64/Release中生成可执行文件FriedLiver.exe

4.6 配置文件修改

将BundleFusion-master/FriedLiver目录下的zParametersBundlingDefault.txt和zParametersDefault.txt拷贝到BundleFusion-master/FriedLiver/X64/Release/

打开 zParametersDefault.txt 配置文件，选择输入类型，这里使用离线数据，修改第 2 行，设置s_sensorIdx = 8 。如果用深度相机（如：Kinect v2实时运行，修改为对应的序列号。

在这里插入图片描述

修改第 49 行，设置s_hashNumSDFBlocks = 100000

在这里插入图片描述
数据集下载 http://graphics.stanford.edu/projects/bundlefusion/
我这里用的是官方实例同款office3.sens
将下载的office3.sens放置到BundleFusion-master/FriedLiver/x64/data

4.7 运行结果

点击FriedLive.exe运行

在这里插入图片描述
运行结束后，BundleFusion-master/FriedLiver/X64/data/office3.sens同目录下生成office3.ply
用meshlab打开查看重建效果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五 VS2013代码生成（KinectV2实时重建）

**此部分为RGB-D相机实时重建部分，如若使用离线数据请看第四章**

BundleFusion GitHub 地址：https://github.com/niessner/BundleFusion
从 GitHub 上下载，并解压，得到工程 BundleFusioin-master

5.1 依赖配置

mLib下载地址：https://github.com/niessner/mLib
解压后，替换掉目录 BundleFusioin-master/external/mLib

mLib external 下载地址
https://www.dropbox.com/s/fve3uen5mzonidx/mLibExternal.zip?dl=0
解压后，放到 BundleFusioin-master同级目录
网址访问不了的话可以从这个网盘下
https://pan.baidu.com/s/1CJysQCHl4t7RPfvqliwfew 提取码：0x4t

最终目录结构如下

BundleFusion-master/
	external/
		mLib/
			data/
			src/
			[...]
	FriedLiver/
		[...]
		FriedLiver.sln
		[...]
mLibExternal/
	include/
	libsWindows/
	[...]

5.2 CUDA设置

用 VS2013 打开 BundleFusion-master/FriedLiver/FriedLiver.sln 工程，如果 cuda 版本不是原代码设置的 cuda7.0，就会出现如下错误：
在这里插入图片描述

修改 BundleFusion-master/FriedLiver/FriedLiver.vcxproj 文件，用vscode、notepad++、记事本等打开该文件，并修改如下两行：

#第35行 7.0改为8.0

在这里插入图片描述

#第375行 7.0改为8.0

在这里插入图片描述

5.3 显卡能力设置

右键项目，打开属性页，设置显卡能力等级，选择适合你显卡的 compute 能力，显卡计算能力在这里查询

在这里插入图片描述

5.4 相机类型设置（KinectV2实时重建）

输入数据可以为 Kinect v1，Kinect v2，PrimeSenseSensor，IntelSensor，RealSense，StructureSensor 以及 SensorDataReader（离线数据）
具体可以查看FriedLiver.cpp中 7-103 行的内容

打开GlobalAppState.h，KinectV2是第二个，用哪个将哪个取消注释，并安装对应 SDK。

在这里插入图片描述

4.5 生成 FriedLiver.exe

修改为 Release 版本，然后选择 生成->生成解决方法
编译通过后，如下图：

在这里插入图片描述

	编译可能失败，如果遇到错误可以看最后一章

在BundleFusion-master/riedLiver/64/Release中生成可执行文件FriedLiver.exe

5.6 配置文件修改

将BundleFusion-master/FriedLiver目录下的zParametersBundlingDefault.txt和zParametersDefault.txt拷贝到BundleFusion-master/FriedLiver/X64/Release/

打开 zParametersDefault.txt 配置文件，选择输入类型，这里是Kinectv2，修改第 2 行，设置s_sensorIdx = 2 。

修改第 49 行，设置s_hashNumSDFBlocks = 100000

在这里插入图片描述
在Release文件夹下创建scans文件夹，用来存放扫描后的mesh

在这里插入图片描述

然后直接点击FriedLive.exe 运行，点击Tab键，显示窗口会出现帮助等操作，按2 加载彩色深度图，9 直接把扫描的结果保存到scans 文件中

5.7 运行结果

在这里插入图片描述

六 遇到的错误及解决办法

找不到boost的array_wrapper.hpp

编译时遇到了一个问题，找不到boost的array_wrapper.hpp,
解决办法：用array.hpp替换array_wrapper.hpp

错误error C2065: “SensorDataReader”: 未声明的标识符

在这里插入图片描述

解决办法：出现这个问题是因为没有修改对应的GlobalAppState.h和zParametersDefault.txt中的输入数据类型，或者是两个文件中的输入数据类型不一致，前面有讲过了怎么改，改成你所用的深度相机或者离线数据的接口就可以了

FriedLive.exe实时重建显示界面卡死

对DepthSensiong.cpp作如下修改
将987行：

bGotDepth = g_CudaImageManager->process()

替换为

bool bGotDepth;
while (!(bGotDepth = g_CudaImageManager->process()));

FriedLive.exe实时重建显示界面闪退

启动程序时保证相机前方不能有遮挡，最好0.5m内不要有物体

有问题欢迎评论！

Man_1man
关注
  • 8
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
Kinect Fusion
10-17
KF的又一篇经典文章，里面的算法比较清晰，值得一看
KinectFusion 和 ElasticFusion 三维重建方法
04-27
KinectFusion 和 ElasticFusion 三维重建方法 详细介绍如何用kinectfusion进行大、小空间3D重建的原理，过程算法以及结果评价
bundlefusion 跑自己的离线数据
sinat_16423171的博客
12-08 615
SLAM之BundleFusion测试自制Rosbag数据集的可行方案_Zebiao Wu Blog-CSDN博客 #defineM_SENSOR_DATA_VERSION 4下面，将彩色图和深度图的压缩类型进行初始化，初始化制定类型。 m_colorCompressionType=TYPE_JPEG;//TYPE_PNG; m_depthCompressionType=TYPE_ZLIB_USHORT; 制作.sens数据集跑通bundlefusion - 程序员大本营 ...
Window10 Kinect v2 配置BundleFusion
SmileLing的专栏
11-28 3315
系统环境： windows10 gtx1070 cuda8.0 vs2013 kinect v2 BundleFusion 最近项目需要用到用到RGBD图片重建地图，然后就花了一天配置好了Kinect v2使用BundleFusion，在此记录一下自己的配置过程。 环境要求 Windows10 NVIDIA驱动 (如果安装好了的则不需要) CUDA8.0 VS2013...
BundleFusion 转
u010451780的专栏
08-12 502
https://blog.csdn.net/ffcjjhv/article/details/89221992 介绍 一、配置 1、cuda8.0安装 2、DirectX SDK安装 二、vs2013代码生成 1、mLib与 mLib external配置 mLib mLib external 2、cuda设置 修改cuda版本 显卡计算能力设置 3、相机类型设置（以apt0.sens离线数据为例） 输入类型 修改GlobalA.
BundleFusion在win10+vs2013+cuda8.0上的实现
zhoujie1994的博客
04-12 7342
目录介绍一、配置1、驱动与cuda8.0安装2、DirectX SDK安装二、vs2013代码生成1、mLib与 mLib external配置mLibmLib external2、cuda设置修改cuda版本显卡计算能力设置3、相机类型设置（以apt0.sens离线数据为例）输入类型修改GlobalAppState.h5、生成FriedLiver.exe三、运行与结果1、配置文件修改a.zPar...
Windows 10 VS 2013 Bundle fusion 代码运行笔记
不解不惑
10-16 1311
最近在搞人体面部重建，本来打算通过一个正视图或者两个侧视图进行三维重建，实践中发现无论相机以哪个角度拍摄人脸，较少张的图像数据都不能包含所有部位的人脸数据。经过分析，想实现完整的人体面部重建，只能通过连续的图像序列实现人脸三维重建。经过网上检索bundle fusion在RGBD相机三维重建中，效果算是比较好的，所以下载下来运行下试试，由于使用的是国产的奥比中光的RGBD深度相机，所以这里先采用公开数据集进行实验。 安装的速度还是蛮快的，就是开始有点纠结要不要安装VS2013，想先看下算法效果就果断安装了
CERTI_3_5_1+win10_vs2010_libxml2_2.9.8
12-06
标题 "CERTI_3_5_1+win10_vs2010_libxml2_2.9.8" 指的是一个针对HLA（High Level Architecture）开源库CERTI 3.5.1的特定版本，在Windows 10操作系统上使用Visual Studio 2010进行编译，并且集成了libxml2库的2.9.8...
win7x64+opencv3.2+vs2013+debug+release+Qt配置
02-03
本资源“win7x64+opencv3.2+vs2013+debug+release+Qt配置”提供了一套完整的配置方案，适合在Windows 7 64位操作系统上，使用Visual Studio 2013 IDE，配合OpenCV 3.2版本，并考虑了调试(debug)和发布(release)两种...
前后端分离的web项目——餐厅后台管理系统——vue2+Django+mysql.zip
03-08
项目具有较高的学习借鉴价值，也可直接拿来修改复现。可以在这些基础上学习借鉴进行修改和扩展，实现其它功能。 可放心下载学习借鉴，你会有所收获。 —— 对于学习和实践，选择合适的项目和资源确实是一种有效的...
BundleFusion-master
12-19
实时全局一致的3D重建，使用动态表面重新整合技术实时，高品质，大尺寸场景的3D扫描是混合现实和机器人应用的关键。然而，可扩展性带来了姿态估计漂移的挑战，在累积模型中引入了显着的错误。方法通常需要几个小时的离线处理来全局纠正模型错误。最近的在线方法证明了令人信服的结果，但遭受以下缺点：（1）需要几分钟的时间才能执行在线修正，影响了真正的实时使用; （2）脆弱的帧到帧（或帧到模型）姿态估计导致许多跟踪失败;或（3）仅支持非结构化的基于点的表示，这限制了扫描质量和适用性。我们通过一个新颖的，实时的端对端重建框架来系统地解决这些问题。其核心是强大的姿态估计策略，通过考虑具有高效分层方法的RGB-D输入的完整历史，针对全局摄像机姿态优化每帧。我们消除了对时间跟踪的严重依赖，并且不断地将其定位到全局优化的帧。我们提出了一个可并行化的优化框架，它采用基于稀疏特征和密集几何和光度匹配的对应关系。我们的方法估计全局最优化（即，束调整的姿势）实时，支持从总跟踪故障（即重新定位）恢复的鲁棒跟踪，并实时重新估计3D模型以确保全局一致性;都在一个框架内。我们优于最先进的在线系统，质量与离线方法相同，但速度和扫描速度前所未有。我们的框架导致尽可能简单的扫描，使用方便和高质量的结果。
下载线＋接口电路——制作实用的单片机编程器.rar
03-30
10. **文档编写**：优秀的毕业设计应有清晰的文档，记录设计过程、遇到的问题及解决方案，便于他人理解和复现。 通过这个项目，学习者不仅可以掌握硬件设计和编程技能，还能提高问题解决和项目管理能力，这对于任何...
经典扫雷完美复现(c#, .net 4, gdi+)
09-27
GDI+画图，事件驱动。 使用方法：右键reset按钮出现菜单。其他跟老版扫雷一样。 特色功能： 首发无雷，自由窗口大小 源码全部送上。自己改着玩吧。
BundleFusion的实现——RealSense D435i+Win10+VS2013+cuda8.0
行秋的博客
05-16 4745
前言 BundleFusion官网：https://graphics.stanford.edu/projects/bundlefusion/ 运行环境配置 VS2013 下载地址：https://docs.microsoft.com/en-us/visualstudio/releasenotes/vs2013-community-vs CUDA8.0 下载地址：https://developer.nvidia.com/cuda-80-ga2-download-archive DirectX
【超全复现合集】经典三维重建算法或开源库的安装、配置与测试
weixin_44791229的博客
09-22 206
经典三维重建算法或开源库的安装、配置与测试。
Bundle安装基于win10+vs2017+CUDA10.1
weixin_43834466的博客
10-30 810
BundleFusion安装配置方法
BundleFusion配置运行
renye_lpl的博客
06-06 7623
平台:win10+vs2013+cuda8.0+kinect v1 参考：https://bericht.neopostmodern.com/posts/artist-guide-to-bundlefusion 1.先按照github上的步骤来，注意mlibExternel和bundlefusion-master在同一级目录 2.安装cuda，cuda7.0我的concrt.h会报错，提示常...
BundleFusion
sinat_16423171的博客
11-26 537
一、配置 1.先安装VS2013，先安装VS，先安装VS（安装CUDA会配置VS文件，反向的话VS中找不到文件） VS安装参考：https://blog.csdn.net/m0_37477061/article/details/83447773 2.安装CUDA,我们选择的版本为10.1 2.1 CUDA下载路径：https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_v
【目标检测】非极大值抑制（Non-Maximum Suppression, NMS）步骤与实现
最新发布
SimpleLearning
07-25 418
计算两个边界框的交集坐标# 计算交集面积# 计算每个边界框的面积# 计算并集面积# 计算IoU= 0 else 0return ioupicked = [] # 存储被选择的边界框索引indexes = np.argsort(scores)[::-1] # 按分数降序排列索引picked.append(current) # 选择当前最高分的边界框indexes = indexes[1:] # 移除当前最高分的索引。
bundlefusion算法的不足
07-23
BundleFusion算法虽然在实时重建和场景重建方面有一定的优势，但也存在一些不足之处： 1. 对大规模场景的处理能力有限：BundleFusion算法在处理大规模场景时可能会面临内存和计算资源限制的挑战。由于需要存储和处理大量的点云数据，算法的实时性能可能会受到限制。 2. 对运动快速或动态场景的鲁棒性较差：BundleFusion算法在处理运动快速或动态场景时可能会出现模糊或伪影等问题，导致重建结果的不准确性。算法对于相机姿态变化和场景动态性的鲁棒性有待改进。 3. 对纹理缺乏鲁棒性：由于BundleFusion算法主要依赖于特征点的提取和匹配，对于纹理缺乏或低纹理区域的处理可能会存在困难。这可能导致在低纹理区域的重建结果较差。 4. 对平面结构和非平面结构的处理不平衡：BundleFusion算法在处理平面结构和非平面结构时可能存在处理不平衡的问题。对于非平面结构，算法可能需要更复杂的建模和优化策略来捕捉其几何形状和细节。 5. 受限于输入传感器：BundleFusion算法对输入传感器的要求较高，需要精确的相机姿态和深度图像信息。这可能限制了算法在一些设备或传感器上的适用性。 综上所述，BundleFusion算法在实时重建和场景重建方面具有一定的局限性。然而，随着技术的不断发展和改进，这些问题有望得到进一步解决，并提高算法的稳定性和鲁棒性。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值