Point-Nerf复现及解析

已于 2024-04-14 21:53:39 修改
阅读量1.1k 收藏 32
点赞数 33
分类专栏： 数据结构、算法原理、机器学习、数据库 PCL与点云 文章标签： 算法
于 2024-04-12 14:57:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35789421/article/details/137679710
版权
Point-Nerf复现及解析
鸣谢：同组的李xx师兄博士(交流思路)、辰昶仪器的狗哥等人（帮忙down资源）

0.0我自己的复现工程

  代码和安装包下载地址：https://gitcode.net/qq_35789421/point-nerf。所需库的安装包在package文件夹下，代码在code文件夹下，测试数据在data文件下：离线安装直接用pip install xxx.whl,terminal下安装直接pip install xxx就行

安装包作用
torch-1.8.1+cu102-cp38-cp38-win_amd64.whl（离线安装）深度学习训练
h5py-3.11.0-cp38-cp38-win_amd64.whl （离线安装）内存大数据处理
scikit-image-0.15.0.tar.gz （离线安装）图像处理
imageio-2.34.0-py3-none-any.whl （离线安装）图像读写与存储
scipy-1.10.1-cp38-cp38-win_amd64.whl （离线安装）数值分析处理
matplotlib-3.7.5-cp38-cp38-win_amd64.whl（离线安装）数据可视化
fonttools-4.51.0-cp38-cp38-win_amd64.whl（离线安装）字体设置
pillow-10.3.0-cp38-cp38-win_amd64.whl（离线安装）图像处理
PyWavelets-1.4.1-cp38-cp38-win_amd64.whl（离线安装）小波变换
pytools-2024.1.1-py2.py3-none-any.whl（离线安装）集成工具包

  在下载之前最好使用

git config http.postBuffer 524288000

修改一下git的块缓冲内存，否则可能出现RPC failed的报错（离线安装包有点大）

0.1相关库介绍

0.1.1 pytorch

  Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。
  pytorch相对于tensorflow出现的较晚一些，主要是针对深度神经网络而开发出来，这几年发展也是十分不错；tensorflow出现的较早，它的优点是分布式计算，在面临较大数据时相对效率较高；
  pytorch是动态框架，tensorflow是静态框架，主要区别就是静态框架在构建计算图的时候提前构建好，之后则无法改变，固定了计算的流程，势必带来了不灵活性，如果我们要改变计算的逻辑，或者随着时间变化的计算逻辑，这样的动态计算TensorFlow是实现不了的；而动态框架可以根据具体计算情况进行改变
  tensorflow的库相对完备齐全，而pytorch还在完善中；所以tensorflow在可视化方面十分出色；
  pytorch对python十分友好，更加python化的框架，而tensorflow的话更加像独立的语言和框架
在这里插入图片描述

0.1.2 h5py

  使用h5py库读写超过内存的大数据 。在简单数据的读操作中，我们通常一次性把数据全部读入到内存中。读写超过内存的大数据时，有别于简单数据的读写操作，受限于内存大小，通常需要指定位置、指定区域读写操作，避免无关数据的读写。 h5py库刚好可以实现这一功能。
  h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！h5py文件是存放两类对象的容器，数据集(dataset)和组(group)，dataset类似数组类的数据集合，和numpy的数组差不多。group是像文件夹一样的容器，它好比python中的字典，有键(key)和值(value)。group中可以存放dataset或者其他的group。”键”就是组成员的名称，”值”就是组成员对象本身(组或者数据集)

0.1.3 Scikit-Image

  Scikit-Image(skimage)是一个用于图像处理的Python库，提供了丰富的算法和工具，用于图像滤波、形态学处理、颜色转换、边缘检测、图像分割等。它的设计理念是简洁、易用和功能强大，适合快速开发和实验。

0.1.4 imageio

  imageio是一个Python库，它提供了一个简单的接口来读取和写入大量的图像数据，包括动画图像、体积数据和科学格式。它是跨平台的，运行在Python 2 .x和3。x上，并且易于安装。imageio.imread() 从指定的文件读取图像。返回一个NUMPY数组，该数组带有元数据的元属性。注意，图像数据按原样返回，并且可能不总是具有uTI8的dType（因此可能不同于例如PIL返回）。

0.1.5 scipy

  Scipy是一个用于数学、科学、工程领域的常用软件包，可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵，使Numpy和Scipy协同工作，高效解决问题。Scipy 由不同科学计算领域的子模块组成：
在这里插入图片描述

0.1.6 Matplotlib

  Matplotlib是一个Python中广泛使用的绘图库，可以用于创建各种类型的静态、动态或交互式图表和可视化。它提供了一系列函数和工具，使得用户可以很方便地对数据进行处理和分析，并将其以图形化的方式呈现出来。

0.1.7 fonttools

  FontTools 是一个开源的Python库，专为字体设计和排版专业人士打造，用于处理各种字体文件格式。这个项目由Adobe、Mozilla以及其他贡献者共同维护，其强大的功能和灵活的API使得它在字体工程领域中独树一帜。

0.1.8 Pillow

  Pillow库是一个Python的第三方库。在Python2中，PIL(Python Imaging Library)是一个非常好用的图像处理库，但PIL不支持Python3，所以有人(Alex Clark和Contributors)提供了Pillow，可以在Python3中使用。

0.1.9 PyWavelets

  PyWavelets是Python 编程语言的免费开源小波变换软件。

0.2.复现简介

  首先我是在windows 10下的pycharm编译器环境下进行复现的，选择了conda虚拟环境下复现，python版本为3.8。源代码链接是参考的https://github.com/zswang666/PnP-Depth，电脑已经安装了cuda10.2了，opencv用的是(opencv_python-3.4.9.31-cp38-cp38-win_amd64.whl)，

0.2.1安装库步骤

①pip install torch-1.8.1+cu102-cp38-cp38-win_amd64.whl
②pip install torchvision-0.9.1+cu102-cp38-cp38-win_amd64.whl
③pip install torchaudio-0.8.1-cp38-none-win_amd64.whl
④pip install h5py-3.11.0-cp38-cp38-win_amd64.whl
⑤pip install scikit_image-0.16.2-cp38-cp38-win_amd64.whl
⑤<1>pip install scipy-1.10.1-cp38-cp38-win_amd64.whl（补充下载）
⑤<2>pip install matplotlib-3.7.5-cp38-cp38-win_amd64.whl（补充下载）
⑤<2-1>pip install fonttools-4.51.0-cp38-cp38-win_amd64.whl（补充下载）
⑤<2-2>pip install pillow-10.3.0-cp38-cp38-win_amd64.whl（补充下载）
⑤<3>pip install imageio-2.34.0-py3-none-any.whl（补充下载）
⑤<4>pip install networkx-3.1-py3-none-any.whl（补充下载）
⑤<5>pip install PyWavelets-1.4.1-cp38-cp38-win_amd64.whl （补充下载）
⑥pip install pycuda-2024.1.tar.gz
⑥<1>pip install pytools-2024.1.1-py2.py3-none-any.whl（补充下载）
⑦pip install torch_scatter-2.0.8.tar.gz

0.2.2 运行测试错误解决

  • 1.缺少部分库，自己缺啥装啥（例如opencv等，其中kornia是0.5.7版本）

 下面是我缺少的库的清单与版本（能pip install 的这里就没有列），通过下载离线安装包进行安装的，建议去清华源下载

库名版本
opencv3.4.9.31
kornia0.5.7

0.3.参考链接

1.【论文精读】Point-NeRF:Point-based Neural Radiance Fields
2.Point-NeRF 可以被有效渲染，训练速度提升30倍
3.Point-NeRF: Point-based Neural Radiance Fields论文翻译笔记
4.论文阅读笔记—CVPR2022—Point-NeRF
5.NeRF神经辐射场学习笔记（三）——Point-NeRF论文解读
6.论文随记｜Point-NeRF: Point-based Neural Radiance Fields
7.复现point-nerf踩坑记录（可以运行测试）

1.0数据准备

源代码提供的数据集下载链接为：https://drive.google.com/drive/folders/1kqbbdbbN1bQnwYglRe4iV8dKnyCvoOFS?usp=sharing
在这里插入图片描述

1.0.0DTU数据集

<1>简介

DTU是一个MVS数据集，常被被用来做MVS、NeRF方法的训练集。它是一个大型数据集，包含受控实验室环境中的128个场景，其模型使用结构光扫描仪捕获。在7种不同的照明条件下，在相同的49或64个相机位置扫描每个场景，生成分辨率为1200×1600像素的RGB图像。由于数据集涵盖了各种对象和材料，因此非常适合在现实条件下训练和测试深度学习MVS方法。因为参考模型是点云，地面真实深度图应根据网格模型进行渲染，网格模型是使用表面重建方法（例如筛选泊松screened Poisson surface reconstruction）从参考模型生成的表面重建方法。在大多数工作中，数据集被分为三个子集，即训练、测试和验证划分。评估指标是准确度Accuracy和完整度Completeness，DTU数据集中给了MATLAB的点云评估代码。

<2>下载链接

1.0.1nerf_synthetic

光电的一只菜鸡
关注
专栏目录
数字人项目 ER-NeRF 的使用和部署详细教程
iioSnail的博客
04-11 5621
ER-NeRF（官方链接）是一个（对嘴型）项目。即：给一段某人说话的视频，再给定一段音频，经过该模型后处理后，可将原视频的嘴型与音频保持一致。可以做到实时响应。即模型比较小，处理速度快。需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型生成出的头部不够稳定。
复现point-nerf踩坑记录（可以运行测试）
weixin_59961223的博客
05-31 4527
注：本次复现仅仅运行了测试，我感觉point-nerf给的代码有些繁冗，不容易去读，而且在配置运行环境的过程中出现了很多问题，在运行训练的时候cuda出现了错误，但是在运行测试的时候可以运行，并且渲染出了图片、视频以及gif动图，效果还是可以的。本文就是以我复现point-nerf的测试为基础，从环境的配置以及代码的修改和最后的渲染所出现的一些坑做了一些记录，也希望有复现过point-nerf的大佬能够给一些指点。
point-nerf复现代码
05-30
point-nerf复现代码，github上提供的源码比较乱，而且在复现的时候一直出现bug，于是在测试point-nerf时将里面的代码进行了更改。在源码的基础上，将nerf_synth360_ft_dataset.py；evaluate.py；test_ft.py；visualizer.py这四个py文件进行了简单的修改。 由于文件容量的限制，这个文件里面少了一个数据包，大家可以下载nerf_synthetic数据包将其放到data_src/nerf/中。注：nerf中包含两个文件夹nerf_synthetic和nerf_synthetic_colmap，nerf_synthetic_colmap在这个资源里有，只需要下载nerf_synthetic数据包就行，nerf_synthetic数据包下载网址：https://drive.google.com/drive/folders/12lcYHJUaYGcylBN9f0VZIOW1Alln349k。
NeRF学习——复现训练中的问题记录
最新发布
PLUS_WAVE的博客
08-03 1406
1.1 DataLoader 的多进程 pickle 在刚开始执行时就遇到了这个错误，开始以为是环境问题，结果鼓捣半天没用，仔细分析了一下错误原因，发现主要是这句话的原因 for iteration, batch in enumerate(data_loader): 1 也就是序列化的问题，后面还给出了多进程的报错，就应该是多进程的pickle问题，网上一搜，还真是，可能是Windows系统的原因导致的，在 configs 中的配置文件中修改 num_workers = 0，不使用多进程，就解决了报错
nerf复现
qq_45913887的博客
09-05 1234
将数据集放在项目中的data文件夹下（新建）在load_llff.py的110行左右。下载nerf_llff_data文件夹。修改fern.txt中的datadir。
Point-NeRF总结记录
fjyalzl的博客
04-11 4169
Point-NeRF阅读总结记录 PPT形式
NeRF代码复现----Pytorch版（更新中）
weixin_53765004的博客
03-28 494
进入github搜索代码https://github.com/yenchenlin/nerf-pytorch。下载乐高和蕨类植物的数据集。
Nerf（Representing Scenes as Neural Radiance Fields for View Synthesis）代码复现笔记
出门吃三碗饭的博客
04-25 4322
手把手带你写一个简易的Nerf神经辐射场
NeRF-pytorch版本的代码
05-18
标题"NeRF-pytorch版本的代码"指的是基于PyTorch实现的神经辐射场（NeRF）算法的源码。NeRF是一种先进的三维场景表示方法，它能够通过学习从不同视角捕获的二维图像来构建连续、细致的三维场景表示。PyTorch是一个...
【论文速递】CVPR2022 - Point-NeRF：基于点的神经辐射场
wingkeung_m的博客
02-15 668
NeRF 等体积神经渲染方法可生成高质量的视图合成结果，但会针对每个场景进行优化，从而导致重建时间过长。另一方面，深度多视图立体方法可以通过直接网络推理快速重建场景几何。Point-NeRF 通过使用神经 3D 点云和相关的神经特征来模拟辐射场，从而结合了这两种方法的优点。Point-NeRF 可以通过在基于光线行进的渲染管道中聚合场景表面附近的神经点特征来高效渲染。此外，Point-NeRF 可以通过预训练的深度网络的直接推理来初始化，以生成神经点云；这个点云可以。
windows 11 本地运行ER-NeRF及pytorch3D安装
架构师成长之路
11-16 1657
若windows有多个版本的cuda，需要在环境变量中切换至cuda 11.3，主要是系统变量中的CUDA_PATH，NVCUDASAMPLES_ROOT，PATH进行编辑为自己需要的cuda版本。因本环境采用的cuda版本是11.3，所以需手动安装 nvidiacub,并设置系统环境变量。这个过程中主要是pytorch3d安装比较麻烦，一定要注意各库的版本冲突问题。ER-NeRF本地运行只要梳理好依赖版本，运行起来就很顺畅。，下载后解压，注意解压路径不能有中文，然后添加至。以下cub的依赖也需要安装好。
NERF_pytorch:pytorch重新实现NERF
03-08
NERF喷火炬 pytorch重新实现NERF 介绍 这是原始的重新实现。 当前实现中未包含某些功能。 当前，它仅支持“ blender”数据类型。 稍后将添加更多格式和培训选项。 速度大约是原始回购的4-7倍。 安装 安装最新版本的Pytorch（> = 1.6.0），然后 pip install torchsul imageio opencv-python matplotlib 获取数据 bash download_example_data.sh 运行代码 python train.py
nerf-pytorch:重现结果的NeRF（神经辐射场）的PyTorch实现
03-19
神经荧光素 （神经辐射场）是一种获得最新结果以合成复杂场景的新颖视图的方法。这是此存储库生成的一些视频（下面提供了预训练的模型）： 这个项目是一个忠实PyTorch实施的 ，同时运行速度更快的1.3倍再现的结果。该代码基于作者的Tensorflow实现，并且已经过测试以匹配数字。 安装 git clone https://github.com/yenchenlin/nerf-pytorch.git cd nerf-pytorch pip install -r requirements.txt 依赖关系（单击以展开） 依存关系 PyTorch 1.4 matplotlib 麻木 意象 图像ffmpeg configargparse LLFF数据加载器需要ImageMagick。 如果要在自己的真实数据上运行，则还需要设置（和COLMAP）来计算姿态。 如何运行？ 快速开始 下载两
重现结果的NeRF（神经辐射场）的PyTorch实现。-Python开发
05-25
重现结果的NeRF（神经辐射场）的PyTorch实现。 NeRF-pytorch NeRF（神经辐射场）是一种能够获得用于合成复杂场景的新颖视图的最新结果的方法。 以下是此存储库生成的一些视频（下面提供了预训练的模型）：该项目是NeRF的忠实PyTorch实施，可以重现结果，但运行速度快1.3倍。 该代码基于作者在此处的Tensorflow实现，并且已经过测试以在数值上与之匹配。 安装git clone https：// github
NeRF神经辐射场复现——Pytorch版
WeiLanShiHanXuan的博客
02-02 3741
是TensorFlow版本的，由于本人的学习需求，所以采用来自yenchen lin的Pytorch版代码进行实现和注释，该版本是基于原版的NeRF所复现的，而且在实现的基础上还要比原版的结果输出时间快了1.3倍。提前安装好Anaconda3，学习如何在prompt上创建名为nerf-pytorch的虚拟环境，先创立一个python3.7版本的虚拟环境nerf，准备工作完成。安装的package中pytorch的版本没有硬性要求，但一定要和CUDA版本以及python版本相对应，这个过程相对较为复杂。
（三维重建学习）NeRF复现 win11
Wu_JingYi0829的博客
01-04 2157
进入nerf项目中，将requirements.txt文件中修改为（注释前两行）我这里下载了flower_test，放在logs文件夹下。除了自己训练数据集之外，你还可以下载预训练模型。下载好后解压放在nerf/data里面。在命令行添加config的参数。conda虚拟环境里实现。
【NeRF】Point-NeRF：Point-NeRF: Point-based Neural Radiance Fields阅读记录
气派飞鹰的博客
12-22 1246
传统的NeRF神经绘制方法可以生成高质量的视图合成结果，但由于对每个场景进行了优化，导致重建时间过长。深度多视图立体（deep multi-view stereo）方法可以通过直接的网络推理快速重建场景几何。point-nerf结合了这两种方法的优点，使用神经三维点云，与相关的神经特征，以模拟一个辐射场。可以获得比传统NeRF更好的视觉质量，而且训练速度加快30倍。本文还提出了一种点剪枝和生长技术，可以逐渐提高几何建模和渲染质量。
Point-NeRF: Point-based Neural Radiance Fields（Point-NeRF：基于点的神经辐射场）
qq_50267787的博客
05-17 863
摘要 NeRF [34] 等体积神经渲染方法可生成高质量的视图合成结果，但针对每个场景进行优化，导致重建时间过长。另一方面，深度多视图立体方法可以通过直接网络进行推理快速重建场景几何。 Point-NeRF 通过使用神经 3D 点云以及相关的神经特征来对辐射场进行建模，从而结合了这两种方法的优点。 Point-NeRF 可以通过在基于光线行进的渲染管道中聚合场景表面附近的神经点特征来高效渲染。此外，Point-NeRF可以通过预先训练的深度网络的直接推理来初始化，以产生神经点云；该点云可以进行微调，以超越
Point-NeRF：基于点的神经辐射场（CVPR 2022）
3D视觉工坊
07-08 1680
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨泡泡图灵智库来源丨泡泡机器人SLAM标题：Point-NeRF: Point-based Neural Radiance Fields作者：Qiangeng Xu, Zexiang Xu, Julien Philip, Sai Bi, Zhixin Shu, Kalyan Sunkavalli, Ulrich ...
nerf-pytorch复现
09-03
要在PyTorch中使用自己的数据集进行命名实体识别（NERF），您可以按照以下步骤操作： 1. 准备数据集：首先，您需要准备一个包含标记好的命名实体的数据集。每个样本都应该是一个句子及其对应的实体标签。确保将数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值