nerfstudio/sdfstudio 三维重建使用教程

最新推荐文章于 2024-04-25 09:33:59 发布
最新推荐文章于 2024-04-25 09:33:59 发布
阅读量1.9k 收藏 19
点赞数 7
分类专栏： Radiometry 文章标签： Nerf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KEEPace_6/article/details/134103941
版权

Nerf作为三维重建的未来，最近引起大为广泛的关注。Nerfstudio 提供了一个简单友好的 API，可以简化创建、训练和测试 NeRF 的端到端过程。该库通过模块化每个组件来支持更可解释的 NeRF 实现。通过更多模块化的NeRF，在探索该技术时创造更加用户友好的体验。
更进一步的，构建在强大的nerfstudio之上的SDFStudio 是一个统一的模块化框架，用于神经隐式表面重建，该库提供了三种主要隐式曲面重建方法的统一实现：UniSurf、VolSDF 和 NeuS。SDFStudio 支持各种场景表示，例如 MLP、三平面和多分辨率；特征网格和多点采样策略，例如 UniSurf 中的曲面引导采样和 NeuralReconW 中的体素曲面引导采样。它进一步集成了该领域的最新进展，例如单目线索的利用（MonoSDF）、几何正则化（UniSurf）和多视图一致性（Geo-NeuS）。由于统一和模块化的实现，SDFStudio 可以轻松地将想法从一种方法转移到另一种方法。例如，Mono-NeuS 将 MonoSDF 中的想法应用于 NeuS，而 Geo-VolSDF 将 Geo-NeuS 中的想法应用于 VolSDF。
本文记录根据sdfstudio官方文档教程的操作步骤：

  1. conda创建环境
conda create --name sdfstudio -y python=3.9  #官方文档为3.8，也可以更高版本
conda activate sdfstudio
python -m pip install --upgrade pip
  1. 安装torch cuda
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html

上述两步在正常网络下，不会出现什么问题。
3. 安装tinycudann
该步容易出现问题，最简单的安装是如下指令：

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

在笔者十多次的测试中，上述指令只有一次顺利通过。其余均出现：
在这里插入图片描述
针对该问题，笔者单独写了解决方案。
4. 安装sdfstudio

git clone https://github.com/autonomousvision/sdfstudio.git
cd sdfstudio
pip install --upgrade pip setuptools
pip install -e .
# install tab completion
ns-install-cli

如果前三步执行成功，该步一般不会出现问题。
5. 前四步成功配置好环境，现在开始进行三维重建测试

  • 利用官方开源数据
# Download some test data: you might need to install curl if your system don't have that
ns-download-data sdfstudio

# Train model on the dtu dataset scan65
ns-train neus-facto --pipeline.model.sdf-field.inside-outside False --vis viewer --experiment-name neus-facto-dtu65 sdfstudio-data --data data/sdfstudio-demo-data/dtu-scan65

# Or you could also train model on the Replica dataset room0 with monocular priors
ns-train neus-facto --pipeline.model.sdf-field.inside-outside True --pipeline.model.mono-depth-loss-mult 0.1 --pipeline.model.mono-normal-loss-mult 0.05 --vis viewer --experiment-name neus-facto-replica1 sdfstudio-data --data data/sdfstudio-demo-data/replica-room0 --include_mono_prior True
  • 个人录制视频，定制数据集
    sdfstudio支持视频输入，但笔者测试的图像集，可以利用ffmpeg将上述视频抽帧为图像集：
ffmpeg -i dome.mp4 -r 1 -f image2 dome/%04d.png

在这里插入图片描述
6. 转换数据格式
sdfstudio指定了标准的数据模式：
在这里插入图片描述
在上述个人定制数据集中，只有rgb图像，可以通过sdfstudio中自带的ns-process-data来进行数据预处理：

ns-process-data images --data ./data/dome/ --output-dir ./data/dome_colmap/

ns-process-data会调用colmap提取匹配特征，构建点云，得到相机位姿，输出transform.json文件。colmap有多种安装方式，最简单指令为：

conda install -c conda-forge colmap

可能需要科学上网，笔者通过该指令安装成功。也可以测试其他方式。ref1 ref2
colmap安装成功后，执行上述指令即可：
在这里插入图片描述
dome_colmap文件夹中为：
在这里插入图片描述
上述数据结构还不是sdfstudio指定的结构，还需要进一步处理
7. process_nerfstudio_to_sdfstudio
可以简单的执行下述指令得到可以处理的sdfstudio数据结构：

python scripts/datasets/process_nerfstudio_to_sdfstudio.py --data ./data/dome_colmap/ --output-dir ./data/dome_sdfs/ --data-type colmap --scene-type object

该指令输出的结果中缺失标准数据结构中的normal depth。为了得到每个图像的normal和depth，需要安装omnidata
下载源代码和预训练模型：

https://github.com/EPFL-VILAB/omnidata.git

sh ./tools/download_depth_models.sh
sh ./tools/download_surface_normal_models.sh

接着在虚拟环境sdfstudio中安装omnidata/omnidata_tools/torch/requirements.txt指定的第三方库，从而保证可以正确执行omnidata中的程序。实际上requirements中要求的库，sdfstudio已经具有，可以通过conda list来考察还缺少哪些库，再逐步安装即可，安装的版本也无需按照requirements中所指定的。

pip install -r requirements.txt # 根据conda list删除已经有的库

执行下述指令，即可得到带normal depth的数据结构：

python scripts/datasets/process_nerfstudio_to_sdfstudio.py --data ./data/dome_colmap/ --output-dir ./data/dome_sdfs/ --data-type colmap --scene-type object --omnidata-path ../omnidata/omnidata_tools/torch/ --pretrained-models ../omnidata/omnidata_tools/torch/pretrained_models/ --mono-prior  # omnidata路径自行调整

在这里插入图片描述
如果出现图像尺寸不一致问题，直接将 assert所在的语句注释即可。

  1. 开始训练
ns-train neus-facto --pipeline.model.sdf-field.inside-outside False --vis viewer sdfstudio-data --data ./data/dome_sdfs/

在这里插入图片描述
笔者写这篇博客时正在运行nerfstudio中数据，上述训练迭代正是nerfstudio过程，当再执行上述sdfstudio训练时，就会报如下端口冲突错误：
在这里插入图片描述
后续可以更改端口，同时执行nerfstudio和sdfstudio。
因为服务器无法打开浏览器，可以通过端口映射，在本地查看训练过程。

ssh -L 7007:localhost:7007 -p port username@IP

在这里插入图片描述
笔者训练过程中发现，自己的训练速度远慢于官方文档，官方所用显卡为3090，笔者所用服务器显卡为A100，理论上要更快，背后原因笔者还在排查，欢迎各位批评指正！

  1. mesh and render
# extract mesh
ns-extract-mesh --load-config outputs/neus-facto-dome/XXX/config.yml --output-path meshes/neus-facto-dome.ply  # config.yml路径自行调整，训练结果保存在outputs中

# render
ns-render-mesh --meshfile meshes/neus-facto-dome.ply --traj interpolate  --output-path renders/neus-facto-dome.mp4 sdfstudio-data --data data/dome_sdfs/

训练得到的dome点云如下，与实际图像大相径庭（一波三折后还是这个结果，一时接受不了）：
在这里插入图片描述
结果还没有直接利用colmap重建的好：
在这里插入图片描述
考虑到基于nerf的训练方法涉及的参数细节较多，后续需要进一步排查原因，欢迎批评指正。

Run_Clover
关注
  • 7
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
汇总！2020到2023年NeRF开源库和框架
3D视觉工坊
10-11 461
作者：Vallee | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取代码链接。添加微信：dddvisiona，备注：NeRF，拉你入群。文末附行业细分群。自从在ECCV'20被提出以来，NeRF（神经辐射场）在3D视觉领域激发了很多有趣的创新工作，同时也出现了很多优秀的开源工作，本文对近期（2020-2023）的NeRF相关典型的开源代码库和框架做一个盘点，涵盖静态场景、动态...
Nerf 训练自有数据
zfjBIT的专栏
04-03 1619
colmap相机位姿转为LLFF格式数据
【三维重建工具】NeRFStudio、3D GaussianSplatting、Colmap安装与使用指南（更新中）
qq_45752541的博客
04-08 4247
Nerfstudio，一个用于NeRF开发的模块化PyTorch框架。框架中用于实现基于NeRF的方法的组件即插即用，使得研究人员和相关从业者可以轻松地将NeRF集成到自己的项目中。框架的模块化设计支持实时可视化工具，导入用户真实世界捕获的数据集外（in-the-wild）数据，以及导出为视频，点云和网格表示的工具。近期，还导入了InstantNGP、3D Gaussian Splatting等最新重建算法。
探索创新科技：NerfStudio - 实时3D渲染的未来
最新发布
gitblog_00087的博客
04-25 445
探索创新科技：NerfStudio - 实时3D渲染的未来 项目地址:https://gitcode.com/nerfstudio-project/nerfstudio NerfStudio 是一个开源项目，致力于提供强大的实时3D场景构建和渲染工具。如果你是游戏开发者、视觉艺术家或对虚拟现实(VR)和增强现实(AR)有热情的人，那么NerfStudio绝对值得你一试。 项目简介 NerfStud...
Nerfstudio使用教程
chaisxp的博客
04-22 1964
对很多了解的还不太深刻，如果有任何见解，欢迎评论讨论。官网文档写的很详细，大家可以去看一下。
14、三维表面重建-DeepSDF
小白的博客
08-18 4070
DeepSDF
Manhattan-SDF：多视角图像三维重建方法（CVPR 2022）
3D视觉工坊
06-15 6135
作者丨郭浩宇@知乎来源丨https://zhuanlan.zhihu.com/p/521725566编辑丨3D视觉工坊我们介绍一篇2022 CVPR Oral的三维场景重建论文：Neural 3D Scene Reconstruction with the Manhattan-world Assumption，该论文由浙江大学CAD&CG国家重点实验室/浙大-商汤...
ManhattanSDF：基于曼哈顿世界假设的神经三维场景重建（论文阅读笔记）
weixin_59961223的博客
07-27 590
本文提出了从多视点图像重建三维室内场景的挑战，以前工作在处理室内低纹理平面区域存在困难。本文提出平面约束可以方便地集成到最近的基于隐式神经表示的重建方法中。使用一个MLP网络将符号距离函数表示为场景几何。基于Manhattan-World假设，利用平面约束规则化二维语义分割网络预测的楼层和墙壁区域的几何形状。为了解决分割不准确的问题用另一种MLP对三维点的语义进行编码，并设计了一种新的loss来联合优化三维空间中的场景几何和语义。
NeRF三维重建从环境配置到实操创建目标三维模型全过程
gou_zigouzhe的博客
09-02 1677
NeRF三维重建技术实操全过程，包含环境配置，功能测试以及个人数据集建立。
深度学习三维重建模型volsdf使用记录
zp_jlu的博客
04-09 3347
深度学习三维重建模型volsdf使用记录
nerfstudio 基本使用操作
weixin_48262500的博客
04-21 1623
使用之前，需要安装一下colmap，其中包括编译cere基于colmap制作数据集。
nerfstudio 默认训练数据poster
02-19
# Download some test data: ns-download-data nerfstudio --capture-name=poster 所下载的训练数据
NeRFStudio数据集
05-22
在复现nerfstudio时有可能会遇到数据集下载不出来的问题，所以我把nerfstudio作者使用的数据集压缩出来上传。 下载完解压之后把数据集放在/home/wxy/nerfstudio/data/nerfstudio这个位置，之后再运行指令ns-train nerfacto --data data/nerfstudio/poster就可以训练了。
nerfstudio介绍及在windows上的配置、使用
热门推荐
网络资源是无限的
04-22 1万+
nerfstudio介绍及在windows上的配置、使用
SDFStudio使用过程——自己数据集构建
qq_53217039的博客
08-02 1262
该文章主要讲解了SDFStudio定义自己的数据集的过程，包含（nerfstudio过程）
Ubuntu系统复现NeRFStudio（详细）
weixin_59961223的博客
05-09 4428
nerfstudio详细安装过程，包括常见错误的分析以及解决方法。
（三维重建学习）NeRFStudio安装win11
Wu_JingYi0829的博客
01-02 2304
解决方法如下：我估计是因为之前网络不好啥的导致下载的权重文件有点问题，所以找到 C:\Users\Administrator.cache\torch\hub\checkpoints\alexnet-owt-7be5be79.pth 将其删除。MTL是英文Material Library的缩写，它存储了模型的材质信息，包括颜色、纹理、光照等属性。下载kitchen测试集，解压缩，并将其拷贝到nerfstudio的data/nerfstudio目录下，data/nerfstudio需自己创建;
nerf三维重建
qq_44089890的博客
04-12 3678
Nerf（Neural Radiance Fields）是一种用于三维重建和图像合成的机器学习技术。它基于深度学习，使用神经网络来预测场景中每个点的颜色和密度，从而生成高质量的三维重建结果。Nerf 通过训练神经网络从不同角度的图像中学习场景的表面和光照特征，然后使用学习到的信息来生成新的视角的图像。与传统的三维重建方法不同，Nerf 不需要对场景进行显式的几何建模，也不需要使用多张图像进行立体匹配。相反，它使用单张图像和相机参数来训练神经网络，从而生成高质量的三维重建结果。
NeRF 原始论文 & NeRF Studio 安装使用
pytorch内部机制解读
01-26 1320
NeRF Studio提供了一个调用各种NeRF模型的接口。它包含的模型有Nerfacto, Instant-NGP, NeRF, Mip-NeRF, TensoRF等，同时还有一些第三方模型，例如Instruct-NeRF2NeRF和K-Planes。其中Nerfacto是nerfstudio提出的，通过整合多篇论文对nerf模型的优化，设计了一个比较全面的神经辐射场解决方案。它是nerfstudio的默认模型，也是最推荐使用的模型。
31套vtk3d图像体绘制/vtk光线投射法/vtk三维重建程序源码
08-09
31套vtk3d图像体绘制/vtk光线投射法/vtk三维重建程序源码是一套用于可视化和处理三维图像数据的工具集。其中包括了vtk库中的一些功能和算法。 vtk3d图像体绘制是指利用vtk库中的相关函数来创建和绘制三维体数据图像。vtk库提供了一系列绘制基本图形的函数，并可以通过组合这些基本图形来创建并显示三维体数据。利用vtk3d图像体绘制，我们可以将三维图像数据以一种生动直观的方式呈现出来。 vtk光线投射法是指利用光线投射算法对三维图像数据进行可视化和模拟。该算法通过投射一束光线到三维图像中，并根据光线与不同物体的相交情况来计算光线在图像中的传播和衰减。通过vtk提供的光线投射函数，我们可以将计算得到的光线在三维图像上进行显示，从而达到模拟真实光线传输的效果。 vtk三维重建程序源码通过利用vtk库中的三维重建函数，实现对二维图像数据进行三维重建的功能。该算法通过对多个二维图像进行处理和比对，来推测出图像所代表物体的三维形状。vtk提供了一系列三维重建函数和算法，可以根据不同的需求选择适用的方法。利用vtk三维重建程序源码，我们可以将多个二维图像数据转化为一个三维模型，并进行后续的可视化和分析。 总的来说，这套31套vtk3d图像体绘制/vtk光线投射法/vtk三维重建程序源码是一个功能强大的工具集，可以帮助我们处理和可视化三维图像数据，并进行相应的模拟和分析。无论是在科学研究、医学影像还是工程设计等领域，这套工具都具有广泛的应用价值。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值