【三维重建】【深度学习】windows10下NeRF代码Pytorch实现

已于 2023-08-28 17:56:57 修改
阅读量3.3k 收藏 77
点赞数 11
分类专栏： 三维重建 深度学习 文章标签： 深度学习 pytorch python
于 2023-06-21 10:58:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyu0515/article/details/131081754
版权

【三维重建】【深度学习】windows10下NeRF代码Pytorch实现

提示:最近开始在【三维重建】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。

文章目录

前言

NeRF是由加利福尼亚大学伯克利分校的Mildenhall, Beni等人在《NeRF: Representing Scenes as
Neural Radiance Fields for View Synthesis【ECCV 2020】》【论文地址】一文中提出了一种5D的神经辐射场来作为复杂场景的隐式表示，其输⼊稀疏的多⻆度带pose的图像训练得到⼀个神经辐射场模型。简单来说就是通过输入同一场景不同视角下的二维图片和相机位姿，对场景进行三维隐式建模，并通过体素渲染方程实现了合成任意新视角下的场景图片。
在详细解析NeRF网络之前，首要任务是搭建NeRF【Pytorch-demo地址】所需的运行环境，并完成模型训练和测试工作，展开后续工作才有意义。
【NeRF预备基础知识】
【NeRF图像质量评估指标】
【参考:基于COLMAP制作LLFF格式数据集】
【NeRF代码Pytorch实现–数据加载(上)】
【NeRF代码Pytorch实现–数据加载(中)】

NeRF模型运行

下载源码并安装环境

在win10环境下装anaconda环境，方便搭建专用于NeRF模型的虚拟环境。
【pytorch代码推荐参考教程】

安装GPU版本的pytorch教程，pytorch-gpu版本需要根据个人计算机去安装相应版本。

# 创建虚拟环境
conda create -n nerf_mvs python=3.7
# 查看新环境是否安装成功
conda env list
# 激活环境
activate nerf_mvs 
# 下载githup源代码到合适文件夹,并cd到代码文件夹内(科学上网)
git clone https://github.com/yenchenlin/nerf-pytorch.git
cd nerf-pytorch
# 安装pytorch包
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
# 通过清华源,安装其他包(需要删除关于pytorch的部分)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 查看所有安装的包
pip list
conda list

最终的安装的所有包。

检查torch版,已经安装torch-gpu版本

# 查看pytorch版本
import torch
print(torch.__version__)
# 查看cuda版本
print(torch.version.cuda)
# 查看cuda是否可用
print(torch.cuda.is_available())
# 查看可用cuda数量
print(torch.cuda.device_count())

训练NeRF

1.下载数据集：win10系统下还是有点麻烦,需要保证主机安装了以下环境！！！因为需要在win10下执行bash命令
win10配置wget
win10配置gitbash

# 进入nerf-pytorch目录下,需要用linux的目录格式
cd /E/deep-learning-for-image-processing-master/nerf-pytorch
bash download_example_data.sh


# download_example_data.sh内容
wget http://cseweb.ucsd.edu/~viscomp/projects/LF/papers/ECCV20/nerf/tiny_nerf_data.npz
mkdir -p data
cd data
wget http://cseweb.ucsd.edu/~viscomp/projects/LF/papers/ECCV20/nerf/nerf_example_data.zip
unzip nerf_example_data.zip
cd ..

根据configs目录下的配置文件(XXX.txt)中指定的数据存放路径，把下载的开源数据解压放到NeRF工程内的data文件夹下。


2.训练网络： 在执行指令时，选择指定的配置文件(configs/XXX.txt)训练对应的数据集。

# 开始训练网络(lego数据集)
python run_nerf.py --config configs/lego.txt


训练生成的结果保存在NeRF工程目录下的logs文件夹下：

logs\XXXX目录下保存了训练过程中生成的网络权重：

查看效果(mp4转了GIF)：

训练个人数据集

个人数据集的制作流程，可以参考博主的另一篇博文【基于COLMAP制作自己的NeRF(LLFF格式)数据集】，制作数据集所需要的图片是用手机拍摄视频后抽帧获取的。
在/nerf-pytorch/data/nerf_llff_data/目录下查看自己的图片数据集和位姿文件；
在/nerf-pytorch/configs/目录下查看对应的配置文件。

执行nerf代码，开始训练。

# test_frame.txt：对应的数据集的配置文件
python run_nerf.py --config configs/test_frame.txt


查看效果(mp4转了GIF)：

生成的视频(GIF)要想包括目标物体，需要在demo中手动调整位姿，因为数据集各有不同，所以位姿也是因人而异。

windows下可能出现的问题：

  1. subprocess.CalledProcessError: Command ‘cp ./data/nerf_llff_data/scene\images/* ./data/nerf_llff_data/XXXX\images_8’ returned non-zero exit status 1.
  2. TypeError: cannot unpack non-iterable NoneType object

产生原因： config/文件下的配置文件XXX.Xtxt设置了factor=8，默认即是8倍下采样，下采样后的图片会被保存在image_8文件夹下，完成这一过程后nerf会从image_8读取图片并用于训练。问题就出现在下采样的过程，由于系统兼容性问题，windows系统无法执行_minify函数中的部分系统指令，导致了第一个错误，并在此过程中产生了一个的空文件夹image_8，假如代码不经过修改再次执行，判断存在文件夹image_8后跳过下采样过程直接进行后续的训练，因此在空的image_8文件夹中进行数据读取，就产生了第二个错误。
在nerf-pytorch/load_llff.py文件中：
在这里插入图片描述
更改意见： 添加一个下采样的demo，将处理过的图片保存到image_8中。

假如读者不想增加额外的代码，可以参考下一个章节的内容。

import cv2
import os
from PIL import Image

images_path = './data/nerf_llff_data/test_frame/images/' # 原图路径
output_dir = './data/nerf_llff_data/test_frame/images_8/' # resize后路径
factor = 8 # 降采样倍数
images_list = os.listdir(images_path)
img = Image.open(images_path + images_list[0])
(W,H) = (img.width,img.height) #[W,H]
print("image_size : ",(W ,H))
# 保存resize后的图片到新文件夹下
for image_name in images_list:
    img = cv2.imread(images_path+image_name)
    img_resize = cv2.resize(img, (int(W/factor), int(H/factor)))
    cv2.imwrite(output_dir + image_name, img_resize)
    print(image_name , " done")
print("all images done")

训练个人数据集补充

上个小章节也能成功完成个人数据集的训练，解决方法有点另辟蹊径且简单高效，但假如读者想真正的解决问题，可以继续阅读本章节内容。

# test_frame.txt：对应的数据集的配置文件
python run_nerf.py --config configs/test_frame.txt

出现问题的主要原因是在Windows下部分linux指令不能执行：

  1. "subprocess.CalledProcessError: Command ‘cp ./data/nerf_llff_data/fern\images/* ./data/nerf_llff_data/fern\images_8’ returned non-zero exit status 1"的原因：
    check_output('cp {}/* {}'.format(imgdir_orig, imgdir), shell=True)
    windows系统下没有cp指令。
    解决方案：win10配置Cygwin 能够使用cp指令，修改load_llff.py部分代码。
    # 因为win10的路径符号\会影响指令的执行,改为linux的符号/
imgdir_orig = imgdir
# 修改为
imgdir_orig = imgdir.replace("\\", "/")
imgdir = os.path.join(basedir, name)
# 修改为
imgdir = os.path.join(basedir, name).replace("\\", "/")
  2. "subprocess.CalledProcessError: Command ‘mogrify -resize 12.5% -format png *.JPG’ returned non-zero exit status 1."的原因：
    args = ' '.join(['mogrify', '-resize', resizearg, '-format', 'png', '*.{}'.format(ext)])
    windows系统下没有mogrify指令。
    解决方案：win10配置ImageMagick能够使用mogrify指令，修改load_llff.py部分代码。
    args = ' '.join(['mogrify', '-resize', resizearg, '-format', 'png', '*.{}'.format(ext)])
# 修改为
args = ' '.join(['magick ', 'mogrify', '-resize', resizearg, '-format', 'png', '*.{}'.format(ext)])

代码成功执行：

注意：部分数据集格式如JPG虽然CP命令能成功复制图片，但是复制的图片是损坏的，导致代码运行不了，这种时候请使用上个章节的解决办法。还有就是每次执行有奇怪的报错，先把生成的下采样图片文件夹(images_4或images_8)删除再重新执行。

总结

尽可能简单、详细的介绍NeRF的安装流程以及解决了安装过程中可能存在的问题。后续会根据自己学到的知识结合个人理解讲解NeRF的原理和代码。

【机器学习】计算机图形和深度学习模型NeRF详解(1)
MUKAMO的博客
06-17 1597
本文深入探讨了计算机图形学基础，为掌握NeRF技术铺路。核心要点包括正向成像模型、3D到3D及3D到2D的转换。这些基础概念不仅帮助我们理解数据集，也满足了学习NeRF的前提。接下来，我们将深入NeRF论文《将场景表示为神经辐射场以进行视图合成》的理论，并利用TensorFlow和Python将其付诸实践。我们期待你的参与和实践，一同探索NeRF的奥秘。
nerf:NeRF（神经辐射场）的代码发布
03-20
NeRF：神经辐射场 ||| Tensorflow实现，优化单个场景的神经表示并渲染新视图。 * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献ECCV 2020（口头演示，最佳论文荣誉奖） TL; DR快速入门 要设置conda环境，请下载示例训练数据，开始训练过程，然后启动Tensorboard： conda env create -f environment.yml conda activate nerf bash download_example_data.sh python run_nerf.py --config config_fern.txt tensorboard --logdir=logs/summaries --port=6006 如果一切正常，您现在可以在
三维重建之NeRF（pytorch）
panxiying1993的博客
11-22 4452
摘要：主要学习三维重建，图像渲染效果比较好的NeRF源码实验，包括如何训练和测试等
计算机视觉｜一文读懂NeRF：为3D场景重建带来新突破
最新发布
紫雾凌寒
03-12 2439
在计算机视觉和图形学领域，3D 场景重建 一直是一个核心且具有挑战性的研究方向。传统方法，如多视角几何、点云重建和显式 3D 建模，虽然在特定场景中取得了一定成果，但也存在明显的局限性，例如存储效率低、渲染效果不够理想、难以处理动态场景等。而 神经辐射场（Neural Radiance Fields，简称 NeRF） 的提出，为这一领域带来了全新的解决方案和技术突破。
Nerf三维重建Pytorch使用Pycharm运行0基础教程
出门吃三碗饭的博客
11-24 1万+
想要运行渲染自己的第一个3维模型吗？还在为Nerf漫天的代码但无法运行而困恼吗！看这里看这里，这里将提供小白从0到完整训练的流程，虽然文章内容多，但一步步都很详细，具体有问题可以评论留言哦，记得关注！！！
NeRF 源码分析解读（二）
qq_41071191的博客
06-28 1万+
NeRF 代码解析之光线生成部分
火出圈三维重建-NeRF
csdn13261311766的博客
08-02 3860
该方法使用一个全连接深度网络来表示场景，使用的输入是一个单连通的5D坐标(空间位置x,y,z以及观察视角θ，),输出为一个体素场景，可以以任意视角查看，并通过体素渲染技术，生成需要视角的照片。让我产生疑问的地方是，作者提到在初始时，需要一些对应的点的五维坐标作为引导，来训练网络，那么对应点是如何获得的？值得注意的是，作者说直接输入5D坐标可能会造成算法不能收敛，在文章中，采用一个基于MLP（多层感知器，一种前向人工神经网络）的位置编码来表示高频函数，并提出一个分层抽样程序来减少用于场景重建的查询次数。...
NeRF三维重建—神经辐射场Neural Radiance Field概述
xiaoxu的博客
10-01 2536
NeRF是使用神经网络(MLP)来隐式的存储3D信息。NeRF是隐式的存储3d信息的，也就可以从另外的一个方向说明了，之前的3d信息是通过显示的方式来进行存储的。显式的3D信息：有明确x，y，z的值（mesh，voxel，点云…等）隐式的3D信息：无明确的x/y/z的值，只能输出指定角度的2D图片。我们从论文中就可以得到。模型输入是5D向量(x, y, z, theta, phi);模型输出是4D向量， (密度，颜色（RGB）);模型是8层的MLP。
三维重建-基于Pytorch实现NerF三维重建算法-附项目源码+流程教程-优质项目实战.zip
10-17
近年来，由于深度学习技术的发展，尤其是Pytorch这类深度学习框架的广泛应用，使得基于神经辐射场（NeRF）的三维重建算法得到了迅速发展。 NeRF算法通过神经网络来学习场景中物体的连续体积表示，并能够渲染出高...
三维重建-用于说话头部合成的音频驱动神经辐射场NeRF的Pytorch实现-附项目源码-优质项目实战.zip
10-17
三维重建技术在计算机视觉领域中具有广泛的应用，尤其是与音频结合的神经辐射场（NeRF）模型，能够在捕捉到的静态图像中增加动态元素，为虚拟角色或真实场景的三维模拟带来了新的可能性。该技术的核心在于利用深度...
三维重建-基于Pytorch对NeRF三维重建算法进行加速-附项目源码+流程教程-优质项目实战.zip
10-17
三维重建技术的发展和优化，尤其是通过PyTorch对NeRF算法进行加速的研究与实践，展示了计算机视觉与深度学习交叉融合的强大能力，为三维重建技术的未来发展指明了方向。通过不断的技术创新和算法优化，三维重建技术...
三维重建-基于Pytorch实现神经辐射场NeRF-附项目源码+流程教程-优质项目实战.zip
05-31
在本项目中，我们将探讨一种基于Pytorch实现的新型三维重建技术——神经辐射场（Neural Radiance Fields，简称NeRF）。NeRF是一种利用深度学习方法构建连续、精细的三维场景表示的方法，它在近年来取得了显著的成果...
NERF_pytorch:pytorch重新实现NERF
03-08
NERF喷火炬 pytorch重新实现NERF 介绍 这是原始的重新实现。 当前实现中未包含某些功能。 当前，它仅支持“ blender”数据类型。 稍后将添加更多格式和培训选项。 速度大约是原始回购的4-7倍。 安装 安装最新版本的Pytorch（> = 1.6.0），然后 pip install torchsul imageio opencv-python matplotlib 获取数据 bash download_example_data.sh 运行代码 python train.py
NeRF-Simple:NeRF（神经辐射场）的简单PyTorch实现
04-06
神经RF NeRF（神经辐射场）的简单PyTorch实现。 （该项目目前正在开发中） 安装 选项1：使用点子 git clone https://github.com/murumura/NeRF.git cd NeRF-Simple pip install -r environment.txt 选项2：使用提供的Docker环境 我有构建该项目环境所需的dockerfile，非常欢迎熟悉docker基本操作的人员直接通过docker docker/dockerfile和构建/运行脚本（ docker/docker_build.sh和docker/docker_run.sh ）。 git clone https://github.com/murumura/NeRF.git cd NeRF-Simple cd docker sh docker_build.sh 如何运行？ 快速开始 一切设
三维重建-基于Pytorch实现的可变形神经辐射场Deformable-NeRF-附项目源码+流程教程-优质项目实战.zip
05-31
在这个项目中，我们关注的是基于Pytorch实现的可变形神经辐射场（Deformable Neural Radiance Fields, 简称Deformable-NeRF），这是一种创新的三维重建方法，能够提升传统神经辐射场（NeRF）模型的灵活性和准确性。...
【三维重建】NeRF原理+代码讲解
热门推荐
qq_45752541的博客
04-13 7万+
NeRF是2020年ECCV论文，任务是，是借助深度学习技术的计算机图形学任务，实现了摄像机级别的逼真的新视图合成。仅仅2年时间，相关work和论文就已经大量涌现。;；
NeRF——基于神经辐射场的三维场景重建和理解
知来者逆的博客
03-17 1万+
神经辐射场（NeRF）是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数，这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术，NeRF可以从任意视角合成出逼真的图像，包括透明和半透明物体
（三维重建学习）NeRFStudio安装win11
Wu_JingYi0829的博客
01-02 3054
解决方法如下：我估计是因为之前网络不好啥的导致下载的权重文件有点问题，所以找到 C:\Users\Administrator.cache\torch\hub\checkpoints\alexnet-owt-7be5be79.pth 将其删除。MTL是英文Material Library的缩写，它存储了模型的材质信息，包括颜色、纹理、光照等属性。下载kitchen测试集，解压缩，并将其拷贝到nerfstudio的data/nerfstudio目录下，data/nerfstudio需自己创建;
顶会上的NeRF引爆三维重建！
阿木寺的博客
01-11 1797
近几年来，人工智能领域出现过很多热门的话题，有些热度持续很长时间，有些如同昙花一现，而随着机器人、自动驾驶、AR等技术的飞速发展，这些领域涌现了大量独角兽公司，开发出大量以3D感知、融合定位、重建、测距等多个应用场景的产品。三维重建这个名词也再次变得火热起来。简单来说，三维重建（3D Reconstruction）是指用相机等传感器拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物...
Pytorch神经辐射场NeRF三维重建实战教程
资源摘要信息: "三维重建-基于Pytorch实现神经辐射场NeRF-附项目源码+流程教程-优质项目实战.zip" 该文件包含了关于使用Pytorch框架实现三维重建中的神经辐射场（Neural Radiance Fields，简称NeRF）技术的项目源码...
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值