深度学习(18):nerf、nerf-pytorch代码运行与学习

置顶 已于 2023-04-08 02:28:33 修改
阅读量1.4w 收藏 193
点赞数 24
分类专栏： 论文学习 深度学习 文章标签： pytorch 学习 tensorflow 深度学习 ubuntu
于 2022-10-11 11:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BIT_HXZ/article/details/127260532
版权

文章目录

0 前言

NeRF代码基于tensorflow1写的，我电脑是RTX3070只能使用tensorflow2，而且我也懒得(没那个能力)再去代码里修改tensorflow1和tensorflow2的区别了，于是先放弃复现。
nerf-pytorch项目是 NeRF 的忠实 PyTorch 实现，它在运行速度提高 1.3 倍的同时重现结果；下面就演示了nerf-pytorch代码的运行。
二者在github上都是几千个star的项目，都很不错。

一 NeRF代码运行–放弃复现

NeRF论文代码：github: https://github.com/bmild/nerf

1.1 下载代码

git clone https://github.com/bmild/nerf.git
cd  nerf

1.2 配置环境

执行下面配置环境：
conda env create -f environment.yml
环境配置如下：

在这里插入图片描述

如果看到下面报错：
报错如下，应该是conda自身的问题：

Solving environment: failed
InvalidVersionSpecError: Invalid version spec: =2.7

这里尝试升级conda(网上有其他解决方案，我正好升级conda解决了)：
conda update conda
这个命令会升级conda的默认环境下的包并安装一些新包。
接下来执行conda env create -f environment.yml就不受影响了。

1.3 下载示例数据

conda activate nerf
bash download_example_data.sh

会下载得到"tiny_nerf_data.npz"文件和一个data数据集，data文件夹里面包括：合成Lego数据集和 LLFF Fern 数据集。

1.4 运行demo

优化低分辨率 Fern NeRF：
python run_nerf.py --config config_fern.txt
报错：
tensorflow.python.framework.errors_impl.InternalError: Blas GEMM launch failed : a.shape=(65536, 63), b.shape=(63, 256), m=65536, n=256, k=63 [Op:MatMul]
应该是tensorflow架构的问题，上面environment.yml安装的是tensorflow-gpu==1.15；可能不适配自己当前的显卡。

在这里插入图片描述

尝试替换环境中的tensorflow1为显卡适配的tensorflow2运行，发现代码中的一部分函数运行不了（tensorflow1和tensorflow2的区别），先放弃tensorflow实现

1.5 删除虚拟环境–可要可不要

conda remove -n your_env_name(虚拟环境名称) --all
conda remove -n nerf --all

二 nerf-pytorch–复现成功

nerf-pytorch项目是 NeRF 的忠实 PyTorch 实现，它在运行速度提高 1.3 倍的同时重现结果。
github地址: https://github.com/yenchenlin/nerf-pytorch

2.1 环境搭建

2.1.1 github参考步骤搭建的环境–弃用

(1)搭建环境

创建虚拟环境:
conda create -n nerfpy37 python=3.7
conda activate nerfpy37

安装：

git clone https://github.com/yenchenlin/nerf-pytorch.git
cd nerf-pytorch
pip install -r requirements.txt
(2) 运行demo

下载数据集 lego和 fern ：
bash download_example_data.sh
训练一个低分辨率的 lego NeRF：
python run_nerf.py --config configs/lego.txt
报错如下NVIDIA GeForce RTX 3070 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
，是显卡和pytorch不兼容。这里可以尝试仅仅替换当前虚拟环境中的torch版本为适合自己硬件的，应该是可行的方案，我在复现giraffe时就仅仅替换torch就成功了，我这里就先不尝试了。

在这里插入图片描述

2.1.2 使用之前yolov5的虚拟环境–使用

yolov5环境配置(https://blog.csdn.net/BIT_HXZ/article/details/123444769)
修改 xx/nerf-pytorch/requirements.txt 如下，补充安装除了torch之外的包：

# torch==1.11.0
# torchvision>=0.9.1
imageio
imageio-ffmpeg
matplotlib
configargparse
tensorboard>=2.0
tqdm
opencv-python

安装包：pip install -r requirements.txt

在这里插入图片描述

2.2 训练fern

注:测试参考2.4.3
训练：python run_nerf.py --config configs/fern.txt
configs/fern.txt如下：

expname = fern_test
basedir = ./logs
datadir = ./data/nerf_llff_data/fern
dataset_type = llff

factor = 8
llffhold = 8

N_rand = 1024
N_samples = 64
N_importance = 64

use_viewdirs = True
raw_noise_std = 1e0

训练过程终端截图：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

训练开始打印输出：

(yolov5py37) meng@meng:~/subject/NeRF/nerf-pytorch$ python run_nerf.py --config configs/fern.txt
Loaded image data (378, 504, 3, 20) [378.         504.         407.56579161]
Loaded ./data/nerf_llff_data/fern 16.985296178676084 80.00209740336334
recentered (3, 5)
[[ 1.0000000e+00  0.0000000e+00  0.0000000e+00  1.4901161e-09]
 [ 0.0000000e+00  1.0000000e+00 -1.8730975e-09 -9.6857544e-09]
 [-0.0000000e+00  1.8730975e-09  1.0000000e+00  0.0000000e+00]]
Data:
(20, 3, 5) (20, 378, 504, 3) (20, 2)
HOLDOUT view is 12
Loaded llff (20, 378, 504, 3) (120, 3, 5) [378.     504.     407.5658] ./data/nerf_llff_data/fern
Auto LLFF holdout, 8
DEFINING BOUNDS
NEAR FAR 0.0 1.0
Found ckpts []
get rays
done, concats
shuffle rays
done
Begin
TRAIN views are [ 1  2  3  4  5  6  7  9 10 11 12 13 14 15 17 18 19]
TEST views are [ 0  8 16]
VAL views are [ 0  8 16]
[TRAIN] Iter: 100 Loss: 0.04988392814993858  PSNR: 16.008405685424805           
[TRAIN] Iter: 200 Loss: 0.041811756789684296  PSNR: 16.925973892211914          
[TRAIN] Iter: 300 Loss: 0.03342441841959953  PSNR: 17.929391860961914           
[TRAIN] Iter: 400 Loss: 0.02886515110731125  PSNR: 18.603059768676758           
[TRAIN] Iter: 500 Loss: 0.02745005488395691  PSNR: 18.930387496948242           
[TRAIN] Iter: 600 Loss: 0.026994995772838593  PSNR: 18.70709800720215           
[TRAIN] Iter: 700 Loss: 0.025570739060640335  PSNR: 18.959453582763672          
[TRAIN] Iter: 800 Loss: 0.0206332728266716  PSNR: 20.038761138916016

训练中间出现的warning,这个应该只造成速度损失(speed loss),对效果影响不大:

IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size=16, resizing from (504, 378) to (512, 384) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility).
[swscaler @ 0x676d380] Warning: data is not aligned! This can lead to a speed loss

最终最后一行的结果：

[TRAIN] Iter: 200000 Loss: 0.0034459223970770836  PSNR: 28.529253005981445

在训练了 200k 次迭代（单次 2080 Ti 约 8 小时,我的RTX3070也大概是8小时）后，可以在 logs/fern_test/fern_test_spiral_200000_rgb.mp4(名称中的200000应该指的是200k次迭代) 和 logs/fern_test/fern_test_spiral_200000_disp.mp4 找到以下视频，如下图所示

训练结果存放目录：

在这里插入图片描述

可以看出除了200k迭代对应的视频，还有50k、100k、150k次迭代的视频，不过我直接看不出这四个迭代次数视频的区别，需要视频的可以留言，不过视频和官方github和其他博主分享的没区别好像。
四个未压缩的文件夹是对应迭代次数的单视角测试效果：

在这里插入图片描述

2.3 训练lego

注:测试参考2.4.3

注：可以在run_nerf.py里面修改训练次数，默认训练次数为200k次，为了更快出结果，可以减小这个值。

    N_iters = 100000 + 1
    # N_iters = 200000 + 1

训练：python run_nerf.py --config configs/lego.txt
configs/lego.txt如下：

expname = blender_paper_lego
basedir = ./logs
datadir = ./data/nerf_synthetic/lego
dataset_type = blender

no_batching = True

use_viewdirs = True
white_bkgd = True
lrate_decay = 500

N_samples = 64
N_importance = 128
N_rand = 1024

precrop_iters = 500
precrop_frac = 0.5

half_res = True

在训练 100k 次迭代（单个 2080 Ti 上约 4 小时，我的RTX3070也约4小时–记不清楚了）后，可以在 logs/lego_test/下分别找到50k和100k的视频(blender_paper_lego_spiral_050000_rgb.mp4等)和对应的测试图片(testset_050000等)
训练结果目录：
在这里插入图片描述

对应的测试图片：
在这里插入图片描述

2.4 更多数据集

2.4.1下载

https://drive.google.com/drive/folders/128yBriW1IG_3NJ5Rp7APSTZsJqdJdfc1
先下载这两个：

在这里插入图片描述

下载后按照文件夹名称将对应文件放到对应目录下即可，相同文件夹如fern和lego可直接跳过，目录如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2.4.2训练

python run_nerf.py --config configs/{DATASET}.txt
替换 {DATASET} 用 trex | horns | flower | fortress | lego | etc.

以flower数据集为例：
python run_nerf.py --config configs/flower.txt
configs/flower.txt如下：(llff 注明对应数据集)

expname = flower_test
basedir = ./logs
datadir = ./data/nerf_llff_data/flower
dataset_type = llff

factor = 8
llffhold = 8

N_rand = 1024
N_samples = 64
N_importance = 64

use_viewdirs = True
raw_noise_std = 1e0

在这里插入图片描述

训练大概用了10个小时，我12点前离开电脑的：

在这里插入图片描述

训练结果目录：

在这里插入图片描述
在这里插入图片描述

2.4.3测试

python run_nerf.py --config configs/{DATASET}.txt --render_only
替换 {DATASET} 用 trex | horns | flower | fortress | lego | etc.

测试flower数据集：（其他数据集可类似测试）
python run_nerf.py --config configs/flower.txt --render_only
测试终端打印如下，箭头所指位置应该是上一步训练得到的内容或者是预训练模型的内容，测试的时间比训练时间短多了。

在这里插入图片描述

测试完成：

在这里插入图片描述

测试结果在下面这个目录中，测试在不同视角下的渲染效果

在这里插入图片描述

2.5 使用预训练模型进行

预训练模型下载地址：https://drive.google.com/drive/folders/1jIr8dkvefrQmv737fFm2isiT6tqpbTbv，全部下载即可

在这里插入图片描述

将下载的目录放在 ./logs 中（注：如果前面训练过程在./logs下产生相同名称文件夹，先不要替换对应目录，可以将自己训练的结果进行压缩备份），以便稍后进行测试。请参见以下目录结构：

在这里插入图片描述

然后运行下面命令即可测试：
python run_nerf.py --config configs/{DATASET}.txt --render_only
替换 {DATASET} 用 trex | horns | flower | fortress | lego | etc.
注:测试参考2.4.3

3 代码阅读

3.0 参考

https://blog.csdn.net/YuhsiHu/article/details/124676445
https://blog.csdn.net/weixin_44292547/article/details/126249933

biter0088
关注
专栏目录
NeRF学习——基于Pytorch代码复现的笔记
PLUS_WAVE的博客
08-03 938
NeRF学习——基于Pytorch代码复现的笔记 代码复现的框架是基于：pengsida 的 [Learning NeRF] 源代码框架是基于 Linux 的，我在 Windows 上进行复现有些许 bug，Windows 上 bug 修复的框架版本：Learning NeRF 希望各位可以通过学习 [NeRF-Pytorch] 来自己复现试试看！
重现结果的NeRF（神经辐射场）的PyTorch实现。-Python开发
05-25
重现结果的NeRF（神经辐射场）的PyTorch实现。 NeRF-pytorch NeRF（神经辐射场）是一种能够获得用于合成复杂场景的新颖视图的最新结果的方法。 以下是此存储库生成的一些视频（下面提供了预训练的模型）：该项目是NeRF的忠实PyTorch实施，可以重现结果，但运行速度快1.3倍。 该代码基于作者在此处的Tensorflow实现，并且已经过测试以在数值上与之匹配。 安装git clone https：// github
NeRF-pytorch 项目安装和配置指南
最新发布
gitblog_09522的博客
09-13 334
NeRF-pytorch 项目安装和配置指南 nerf-pytorch A PyTorch implementation of NeRF (Neural Radiance Fields) that reproduces the results. ...
学习NERF-pytorch 以及运行自己数据的一点心得
zfkdsghnb的博客
06-29 891
对代码的阅读 以及解决位姿与图片数量不同 训练效果很黑的情况
4、nerf（pytorch）
小白的博客
07-29 6799
nerf-pytorch
nerf-pytorch:重现结果的NeRF（神经辐射场）的PyTorch实现
03-19
神经荧光素 （神经辐射场）是一种获得最新结果以合成复杂场景的新颖视图的方法。这是此存储库生成的一些视频（下面提供了预训练的模型）： 这个项目是一个忠实PyTorch实施的 ，同时运行速度更快的1.3倍再现的结果。该代码基于作者的Tensorflow实现，并且已经过测试以匹配数字。 安装 git clone https://github.com/yenchenlin/nerf-pytorch.git cd nerf-pytorch pip install -r requirements.txt 依赖关系（单击以展开） 依存关系 PyTorch 1.4 matplotlib 麻木 意象 图像ffmpeg configargparse LLFF数据加载器需要ImageMagick。 如果要在自己的真实数据上运行，则还需要设置（和COLMAP）来计算姿态。 如何运行？ 快速开始 下载两
nerf-pytorch:神经辐射场的PyTorch重新实现
03-19
nerf-pytorch PyTorch重新实现 || * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献 PyTorch重新实现。 速度很重要！ 当前的执行速度非常快！ （比快约5-9倍，比快约2-4倍） 加速背后的秘诀是什么？ 多个方面。除了诸如数据缓存，有效的内存管理等明显的增强功能外，我深入了整个NeRF代码库，并减少了黑白数据传输，包括CPU和GPU，可能的情况下进行了矢量化代码，并使用了pytorch ops的高效变体（无法使用）。但是对于这些更改，其他所有内容都是对我们大家都敬佩的NeRF技术的忠实再现：) 回购的样本结果 关于综合数据 真实数据 Google Colab上的Tiny-NeRF NeRF代码版本带有一个随附的Colab笔记本，该笔记本展示了如何在
NeRF-pytorch版本的代码
05-18
标题"NeRF-pytorch版本的代码"指的是基于PyTorch实现的神经辐射场（NeRF）算法的源码。NeRF是一种先进的三维场景表示方法，它能够通过学习从不同视角捕获的二维图像来构建连续、细致的三维场景表示。PyTorch是一个...
PyPI 官网下载 | nerf-pytorch-1.0.tar.gz
01-14
在解压“nerf-pytorch-1.0.tar.gz”后，我们可以得到“nerf-pytorch-1.0”这个目录，其中包含了该库的所有源代码、文档和其他相关资源。这些文件可能包括： 1. `setup.py`：这是Python项目的配置文件，用于定义项目...
ERROR: matcher type C:\NeRf\nerf-pytorch-master\data\nerf_llff_data\ad\images is not valid. Aborting
09-12
在这个例子中，代码中指定的matcher类型是C:\NeRf\nerf-pytorch-master\data\nerf_llff_data\ad\images，而这不是有效的matcher类型。 要解决这个问题，您需要确保matcher类型参数指定的是有效的选项。在给定的引用...
NERF_pytorch:pytorch重新实现NERF
03-08
NERF喷火炬 pytorch重新实现NERF 介绍 这是原始的重新实现。 当前实现中未包含某些功能。 当前，它仅支持“ blender”数据类型。 稍后将添加更多格式和培训选项。 速度大约是原始回购的4-7倍。 安装 安装最新版本的Pytorch（> = 1.6.0），然后 pip install torchsul imageio opencv-python matplotlib 获取数据 bash download_example_data.sh 运行代码 python train.py
NeRF-Simple:NeRF（神经辐射场）的简单PyTorch实现
04-06
神经RF NeRF（神经辐射场）的简单PyTorch实现。 （该项目目前正在开发中） 安装 选项1：使用点子 git clone https://github.com/murumura/NeRF.git cd NeRF-Simple pip install -r environment.txt 选项2：使用提供的Docker环境 我有构建该项目环境所需的dockerfile，非常欢迎熟悉docker基本操作的人员直接通过docker docker/dockerfile和构建/运行脚本（ docker/docker_build.sh和docker/docker_run.sh ）。 git clone https://github.com/murumura/NeRF.git cd NeRF-Simple cd docker sh docker_build.sh 如何运行？ 快速开始 一切设
NeRF神经辐射场复现——Pytorch版
WeiLanShiHanXuan的博客
02-02 3834
是TensorFlow版本的，由于本人的学习需求，所以采用来自yenchen lin的Pytorch版代码进行实现和注释，该版本是基于原版的NeRF所复现的，而且在实现的基础上还要比原版的结果输出时间快了1.3倍。提前安装好Anaconda3，学习如何在prompt上创建名为nerf-pytorch的虚拟环境，先创立一个python3.7版本的虚拟环境nerf，准备工作完成。安装的package中pytorch的版本没有硬性要求，但一定要和CUDA版本以及python版本相对应，这个过程相对较为复杂。
NeRF-pytorch-readme
ysh的博客
04-28 789
NeRF-pytorch NeRF（神经辐射场）是一种实现最先进的结果来合成复杂场景的新观点的方法。以下是由这个存储库生成的一些视频（下面提供了预先训练过的模型）： 这个项目是NeRF的忠实PyTorch实现，在运行1.3倍的速度复制结果。该代码基于作者的tenserflow实现here，并已测试了数值匹配。 Installation git clone https://github.com/yenchenlin/nerf-pytorch.git cd nerf-pytorch ...
nerf-pytorch代码学习
fb_help的专栏
09-18 728
nerf-pytorch代码学习
一文带你入门NeRF——利用PyTorch实现NeRF代码详解（附代码）
2301_81515836的博客
03-28 1396
神经辐射场（NeRF）是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数，这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术，NeRF可以从任意视角合成出逼真的图像，包括透明和半透明物体，以及复杂的光线传播效果。1、3D视觉文章投稿作者招募2、3D视觉课程（自动驾驶、SLAM和工业3D视觉）主讲老师招募3、顶会论文分享与3D视觉传感器行业直播邀请。
NeRF-pytorc的Linux运行
wyfldm123456的博客
03-23 1212
NeRF-pytorch 在Linux系统上运行
Ubuntu18.04运行NeRF
weixin_53805189的博客
10-23 431
这是一个结合单目稠密SLAM和层次化体素神经辐射场的3D场景重建算法，能实时地用图像序列实现准确的辐射场构建，并且不需要位姿或深度输入。论文的核心思想是，使用一个单目稠密SLAM方法来估计相机位姿和稠密深度图以及它们的不确定度，用上述信息作为监督信号来训练NeRF场景表征。参考【位姿估计_代码_开源复现】 在Ubuntu20.04安装并运行NeRF-SLAM-CSDN博客。
从0开始用 PyTorch 构建完整的 NeRF
soaring_casia的专栏
02-01 1175
本文简述了NeRF实现的算法流程和相关数据集和参数的设定。
评论 65
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值