BundleFusion复现手册——Win10+VS2013+Cuda8.0+KinectV2实时重建

最新推荐文章于 2022-12-16 16:28:06 发布
最新推荐文章于 2022-12-16 16:28:06 发布
阅读量3.6k 收藏 32
点赞数 10
分类专栏： SLAM三维重建 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Man_1man/article/details/126621624
版权

文章目录

一 摘要

BundleFusion由斯坦福大学、德国 MPII 以及微软研究院共同开发，用于实时构建高精度三维模型，是目前效果最好的开源算法框架。
论文：《BundleFusion: Real-time Globally Consistent 3D Reconstruction using Online Surface Re-integration》。
论文地址：https://arxiv.org/pdf/1604.01093.pdf
视频地址：https://www.youtube.com/watch?v=keIirXrRb1k
GitHub 地址：https://github.com/niessner/BundleFusion
本文主要介绍了如何使用官方离线数据以及kinectv2深度相机在开源算法框架 BundleFusion 中实现实时三维建图。

二 操作环境

在我的GTX1060台式机和GTX1065Ti笔记本均运行成功

环境项版本/型号
操作系统Win_x64
开发工具集Visual Studio 2013
计算架构CUDA8.0
深度相机Kinect V2
显卡GTX1060/GTX1065Ti

三 工程环境配置

3.1 装VS2013和CUDA8.0

一定要先安装VS再装CUDA8.0
CUDA8.0地址：https://developer.nvidia.com/cuda-80-ga2-download-archive
其他版本地址：https://developer.nvidia.com/Cuda-Toolkit-archive

3.2 DirectX SDK 安装

下载地址 http://download.microsoft.com/download/A/E/7/AE743F1F-632B-4809-87A9-AA1BB3458E31/DXSDK_Jun10.exe

3.3 Kinect SDK 2.0

Kinect SDK 2.0 下载地址

下载并安装，连接上Kinect相机，并可以成功输出图像。
如果只想跑离线数据可以跳过这一步。

四 VS2013代码生成（以离线数据为例）

**此部分为以离线数据集为例，如若使用Kinect v2或其它深度相机直接略过此章直接跳到第五部分**

BundleFusion GitHub 地址：https://github.com/niessner/BundleFusion
从 GitHub 上下载，并解压，得到工程 BundleFusioin-master

4.1 依赖配置

mLib下载地址：https://github.com/niessner/mLib
解压后，替换掉目录 BundleFusioin-master/external/mLib

mLib external 下载地址
https://www.dropbox.com/s/fve3uen5mzonidx/mLibExternal.zip?dl=0
解压后，放到 BundleFusioin-master同级目录
网址访问不了的话可以从这个网盘下
https://pan.baidu.com/s/1CJysQCHl4t7RPfvqliwfew 提取码：0x4t

最终目录结构如下

BundleFusion-master/
	external/
		mLib/
			data/
			src/
			[...]
	FriedLiver/
		[...]
		FriedLiver.sln
		[...]
mLibExternal/
	include/
	libsWindows/
	[...]

4.2 CUDA设置

用 VS2013 打开 BundleFusion-master/FriedLiver/FriedLiver.sln 工程，如果 cuda 版本不是原代码设置的 cuda7.0，就会出现如下错误：
在这里插入图片描述

修改 BundleFusion-master/FriedLiver/FriedLiver.vcxproj 文件，用vscode、notepad++、记事本等打开该文件，并修改如下两行：

#第35行 7.0改为8.0

在这里插入图片描述

#第375行 7.0改为8.0

在这里插入图片描述

4.3 显卡能力设置

右键项目，打开属性页，设置显卡能力等级，选择适合你显卡的 compute 能力，显卡计算能力在这里查询

在这里插入图片描述

4.4 相机类型设置（以office3.sens离线数据为例）

输入数据可以为 Kinect v1，Kinect v2，PrimeSenseSensor，IntelSensor，RealSense，StructureSensor 以及 SensorDataReader（离线数据）
具体可以查看FriedLiver.cpp中 7-103 行的内容

	离线数据下载地址：
	http://graphics.stanford.edu/projects/bundlefusion/

	因为使用的是离线数据，将GlobalAppState.h中深度相机全部注释掉

在这里插入图片描述

4.5 生成 FriedLiver.exe

修改为 Release 版本，然后选择 生成->生成解决方法
编译通过后，如下图：

在这里插入图片描述

	编译可能失败，如果遇到错误可以看最后一章

在BundleFusion-master/riedLiver/64/Release中生成可执行文件FriedLiver.exe

4.6 配置文件修改

将BundleFusion-master/FriedLiver目录下的zParametersBundlingDefault.txt和zParametersDefault.txt拷贝到BundleFusion-master/FriedLiver/X64/Release/

打开 zParametersDefault.txt 配置文件，选择输入类型，这里使用离线数据，修改第 2 行，设置s_sensorIdx = 8 。如果用深度相机（如：Kinect v2实时运行，修改为对应的序列号。

在这里插入图片描述

修改第 49 行，设置s_hashNumSDFBlocks = 100000

在这里插入图片描述
数据集下载 http://graphics.stanford.edu/projects/bundlefusion/
我这里用的是官方实例同款office3.sens
将下载的office3.sens放置到BundleFusion-master/FriedLiver/x64/data

4.7 运行结果

点击FriedLive.exe运行

在这里插入图片描述
运行结束后，BundleFusion-master/FriedLiver/X64/data/office3.sens同目录下生成office3.ply
用meshlab打开查看重建效果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五 VS2013代码生成（KinectV2实时重建）

**此部分为RGB-D相机实时重建部分，如若使用离线数据请看第四章**

BundleFusion GitHub 地址：https://github.com/niessner/BundleFusion
从 GitHub 上下载，并解压，得到工程 BundleFusioin-master

5.1 依赖配置

mLib下载地址：https://github.com/niessner/mLib
解压后，替换掉目录 BundleFusioin-master/external/mLib

mLib external 下载地址
https://www.dropbox.com/s/fve3uen5mzonidx/mLibExternal.zip?dl=0
解压后，放到 BundleFusioin-master同级目录
网址访问不了的话可以从这个网盘下
https://pan.baidu.com/s/1CJysQCHl4t7RPfvqliwfew 提取码：0x4t

最终目录结构如下

BundleFusion-master/
	external/
		mLib/
			data/
			src/
			[...]
	FriedLiver/
		[...]
		FriedLiver.sln
		[...]
mLibExternal/
	include/
	libsWindows/
	[...]

5.2 CUDA设置

用 VS2013 打开 BundleFusion-master/FriedLiver/FriedLiver.sln 工程，如果 cuda 版本不是原代码设置的 cuda7.0，就会出现如下错误：
在这里插入图片描述

修改 BundleFusion-master/FriedLiver/FriedLiver.vcxproj 文件，用vscode、notepad++、记事本等打开该文件，并修改如下两行：

#第35行 7.0改为8.0

在这里插入图片描述

#第375行 7.0改为8.0

在这里插入图片描述

5.3 显卡能力设置

右键项目，打开属性页，设置显卡能力等级，选择适合你显卡的 compute 能力，显卡计算能力在这里查询

在这里插入图片描述

5.4 相机类型设置（KinectV2实时重建）

输入数据可以为 Kinect v1，Kinect v2，PrimeSenseSensor，IntelSensor，RealSense，StructureSensor 以及 SensorDataReader（离线数据）
具体可以查看FriedLiver.cpp中 7-103 行的内容

打开GlobalAppState.h，KinectV2是第二个，用哪个将哪个取消注释，并安装对应 SDK。

在这里插入图片描述

4.5 生成 FriedLiver.exe

修改为 Release 版本，然后选择 生成->生成解决方法
编译通过后，如下图：

在这里插入图片描述

	编译可能失败，如果遇到错误可以看最后一章

在BundleFusion-master/riedLiver/64/Release中生成可执行文件FriedLiver.exe

5.6 配置文件修改

将BundleFusion-master/FriedLiver目录下的zParametersBundlingDefault.txt和zParametersDefault.txt拷贝到BundleFusion-master/FriedLiver/X64/Release/

打开 zParametersDefault.txt 配置文件，选择输入类型，这里是Kinectv2，修改第 2 行，设置s_sensorIdx = 2 。

修改第 49 行，设置s_hashNumSDFBlocks = 100000

在这里插入图片描述
在Release文件夹下创建scans文件夹，用来存放扫描后的mesh

在这里插入图片描述

然后直接点击FriedLive.exe 运行，点击Tab键，显示窗口会出现帮助等操作，按2 加载彩色深度图，9 直接把扫描的结果保存到scans 文件中

5.7 运行结果

在这里插入图片描述

六 遇到的错误及解决办法

找不到boost的array_wrapper.hpp

编译时遇到了一个问题，找不到boost的array_wrapper.hpp,
解决办法：用array.hpp替换array_wrapper.hpp

错误error C2065: “SensorDataReader”: 未声明的标识符

在这里插入图片描述

解决办法：出现这个问题是因为没有修改对应的GlobalAppState.h和zParametersDefault.txt中的输入数据类型，或者是两个文件中的输入数据类型不一致，前面有讲过了怎么改，改成你所用的深度相机或者离线数据的接口就可以了

FriedLive.exe实时重建显示界面卡死

对DepthSensiong.cpp作如下修改
将987行：

bGotDepth = g_CudaImageManager->process()

替换为

bool bGotDepth;
while (!(bGotDepth = g_CudaImageManager->process()));

FriedLive.exe实时重建显示界面闪退

启动程序时保证相机前方不能有遮挡，最好0.5m内不要有物体

有问题欢迎评论！

Man_1man
关注
专栏目录
Window10 Kinect v2 配置BundleFusion
SmileLing的专栏
11-28 3367
系统环境： windows10 gtx1070 cuda8.0 vs2013 kinect v2 BundleFusion 最近项目需要用到用到RGBD图片重建地图，然后就花了一天配置好了Kinect v2使用BundleFusion，在此记录一下自己的配置过程。 环境要求 Windows10 NVIDIA驱动 (如果安装好了的则不需要) CUDA8.0 VS2013...
2019某行业CTF大赛题目复现——音频隐写+图片隐写
qwsn
11-06 5601
0x01：上附件 百度网盘链接地址 提取码 https://pan.baidu.com/s/1OIh8ef5sopI8hoqkX3TJ9g qwky 0x02：WP复现过程 1.打开压缩的附件： ①发现两个文件，一个是音频wav，一个是压缩包 ②压缩包还有密码，恶心。。。 2.我们可以打开音乐，收听一下，发现刚刚开始全是雨声，最后又几声不一样，问题来了。 ①我们使用Auda...
bundlefusion 跑自己的离线数据
sinat_16423171的博客
12-08 702
SLAM之BundleFusion测试自制Rosbag数据集的可行方案_Zebiao Wu Blog-CSDN博客 #defineM_SENSOR_DATA_VERSION 4下面，将彩色图和深度图的压缩类型进行初始化，初始化制定类型。 m_colorCompressionType=TYPE_JPEG;//TYPE_PNG; m_depthCompressionType=TYPE_ZLIB_USHORT; 制作.sens数据集跑通bundlefusion - 程序员大本营 ...
BundleFusion: Real-time GloballyConsistent 3D Reconstruction... 论文解析
qq_37107778的博客
12-30 1028
概述 在BundleFusion之前的很多相似的方案中，在重建的过程中总是出现以下问题： 需要额外的时间来纠正在线的错误，从而无法很好的实现实时处理。 十分脆弱的tracking方案，从而导致
bundlefusion window10
u010451780的专栏
08-06 150
https://blog.csdn.net/ffcjjhv/article/details/89221992
BundleFusion配置
blueag1e的博客
01-23 1154
1、目前仅支持Kinectv1，也仅在Kinectv1上成功仿真。 2、所需环境 （1）Kinectv1+KinectSDKv1.8+KinectDeveloperToolkit-v1.8.0 （2）VS2013+BundleFusion-master+(DX11)+DXSDK_Jun10 3、步骤参考 中文参考1 英文参考2 3.存在问题 （1）安装DXSDK时出错，卸载Microsoft Vi...
BundleFusion在win10+vs2013+cuda10.1上的实现
weixin_39152543的博客
02-27 1039
bundlefusion在Windows10 +VS2013 + CUDA10.1 + 显卡RTX2070环境下的配置与成功运行。
bundfusion配置
likmeng_417的博客
01-28 296
平台:win10+vs2013+cuda8.0+kinect v1 参考：https://bericht.neopostmodern.com/posts/artist-guide-to-bundlefusion 1.先按照github上的步骤来，注意mlibExternel和bundlefusion-master在同一级目录 2.安装cuda，用的cuda8.0 3.安装专门的openni2的sd...
Windows 10 VS 2013 Bundle fusion 代码运行笔记
不解不惑
10-16 1393
最近在搞人体面部重建，本来打算通过一个正视图或者两个侧视图进行三维重建，实践中发现无论相机以哪个角度拍摄人脸，较少张的图像数据都不能包含所有部位的人脸数据。经过分析，想实现完整的人体面部重建，只能通过连续的图像序列实现人脸三维重建。经过网上检索bundle fusion在RGBD相机三维重建中，效果算是比较好的，所以下载下来运行下试试，由于使用的是国产的奥比中光的RGBD深度相机，所以这里先采用公开数据集进行实验。 安装的速度还是蛮快的，就是开始有点纠结要不要安装VS2013，想先看下算法效果就果断安装了
WIN10+RTX 2080Ti深度学习平台搭建，VS2019+CUDA11.0+cuDNN8.0+python3.8.7+Tensorflow2.4.0+Keras，以及各种科学包
享受当下
02-19 2099
WIN10+RTX 2080Ti深度学习平台搭建 前置声明：博文中有一些图片来自网上截图（因为安装完成后做的记录，有些安装过程图嫌麻烦没有复现），侵删。 可选步骤： 如果之前有python环境，需要卸载掉全部依赖包，进而再次重新安装的话，那需要知道如何一次性卸载掉全部原有python依赖包。操作方法如下： 第一步：打开CMD，随便进入一个目录下（这里我进入的是C:\Program Files\Python38\Scripts），然后执行下面的命令（txt文件名自己取）： pip freeze > re
BundleFusion-master
12-19
实时全局一致的3D重建，使用动态表面重新整合技术实时，高品质，大尺寸场景的3D扫描是混合现实和机器人应用的关键。然而，可扩展性带来了姿态估计漂移的挑战，在累积模型中引入了显着的错误。方法通常需要几个小时的离线处理来全局纠正模型错误。最近的在线方法证明了令人信服的结果，但遭受以下缺点：（1）需要几分钟的时间才能执行在线修正，影响了真正的实时使用; （2）脆弱的帧到帧（或帧到模型）姿态估计导致许多跟踪失败;或（3）仅支持非结构化的基于点的表示，这限制了扫描质量和适用性。我们通过一个新颖的，实时的端对端重建框架来系统地解决这些问题。其核心是强大的姿态估计策略，通过考虑具有高效分层方法的RGB-D输入的完整历史，针对全局摄像机姿态优化每帧。我们消除了对时间跟踪的严重依赖，并且不断地将其定位到全局优化的帧。我们提出了一个可并行化的优化框架，它采用基于稀疏特征和密集几何和光度匹配的对应关系。我们的方法估计全局最优化（即，束调整的姿势）实时，支持从总跟踪故障（即重新定位）恢复的鲁棒跟踪，并实时重新估计3D模型以确保全局一致性;都在一个框架内。我们优于最先进的在线系统，质量与离线方法相同，但速度和扫描速度前所未有。我们的框架导致尽可能简单的扫描，使用方便和高质量的结果。
Kinect Fusion
10-17
KF的又一篇经典文章，里面的算法比较清晰，值得一看
Linux应急响应——SSH暴力破解+crontab隐藏后门——事件复现（含靶场环境）下载地址.txt
04-21
Linux应急响应——SSH暴力破解+crontab隐藏后门——事件复现（含靶场环境）下载地址，真实有效，亲测可用。
【环境搭建】机械革命 win 10 + CUDA 8.0 配套 cuDNN v7.1.4 安装详细教程 cuDNN v7.1.4网盘链接
smiekickass的博客
03-04 1245
cuDNN 是与CUDA配套的神经网络库，需要与CUDA版本相对应，但需要注意的是，两者并不是一一对应，一个CUDA版本可以对应多个cuDNN版本。 本文介绍如何安装cuDNN。
win10+VS2019配置Sophus库及使用VS2019自带的Cmake工具
qq_43981283的博客
08-19 3162
在学习高翔老师的《视觉SLAM十四讲》第二版时，对于在Windows系统上进行代码复现遇到的困难将会在这里进行更新。对于VS各个版本的安装个人认为网上各个博客都很详尽，目前不予累述。而在Windows中下载与安装Eigen3库也有很多博客提供说明。然而对于Sophus库的安装与使用仍存在一定问题，本文给出实测下的一种方法。
三维建图---BundleFusion|Win10|VS2013|Cuda8.0|KinectV2
最新发布
u011735367的博客
12-16 340
三维建图---BundleFusion|Win10|VS2013|Cuda8.0|KinectV2
BundleFusion学习笔记(3)：主要算法(2)——模型重建
qq_41318333的博客
11-23 1274
阿斯顿
BundleFusion配置运行
renye_lpl的博客
06-06 7761
平台:win10+vs2013+cuda8.0+kinect v1 参考：https://bericht.neopostmodern.com/posts/artist-guide-to-bundlefusion 1.先按照github上的步骤来，注意mlibExternel和bundlefusion-master在同一级目录 2.安装cuda，cuda7.0我的concrt.h会报错，提示常...
BundleFusion的实现——RealSense D435i+Win10+VS2013+cuda8.0
行秋的博客
05-16 5059
前言 BundleFusion官网：https://graphics.stanford.edu/projects/bundlefusion/ 运行环境配置 VS2013 下载地址：https://docs.microsoft.com/en-us/visualstudio/releasenotes/vs2013-community-vs CUDA8.0 下载地址：https://developer.nvidia.com/cuda-80-ga2-download-archive DirectX
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值