实时神经辐射场论文（SNeRG、instant-NGP、MERF）

最新推荐文章于 2024-09-13 08:38:54 发布
最新推荐文章于 2024-09-13 08:38:54 发布
阅读量1.6k 收藏 9
点赞数 3
分类专栏： NeRF高清渲染 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ling2828ling/article/details/131510068
版权
本文介绍了三种实时渲染神经辐射场的方法：SNeRG通过将NeRF模型转化为稀疏体素网格实现加速；Instant-NGP利用多尺度哈希表提高检索速度；而MERF结合低分辨率3D网格和2D平面减少内存消耗。这些技术通过不同的优化策略平衡了质量和性能。
摘要由CSDN通过智能技术生成

网课记录——实时渲染的神经辐射场论文串讲：SNeRG/Instant-NGP/MERF_哔哩哔哩_bilibili

一、SNeRF

Baking neural radiance fields for real-time view synthesis

将一个NeRF模型bake到一个稀疏离散的网格上，也就是将一个MLP模型转化成了一个稀疏网格模型，使它能够在商用硬件上进行实时渲染。首先生成相机射线，然后从一个大的神经网络MLP （JAXNeRF）中采样，采样出来的值被储存在稀疏3D体素网格中，这样在渲染时不需要去查询MLP，而是直接查询体素，达到了加速渲染的目的。其中^{V_{s}}表示用于反射的特征向量，在右下角的模型中采用的体密度和特征向量是这条直线上所有点的累积（即像素点对应的反射），而不是采样点。

1. 延迟NeRF框架

最低0.47元/天 解锁文章
一颗码农小白菜
关注
专栏目录
Instant-NGP复现详解
程序猿追的博客
09-23 1765
但是，如果你是ios用户，那幸运的是，你可以从苹果app store下载一个叫NeRF Capture的app（不清楚安卓是否有类似的app），它可以将图像及坐标（大概用到了ARKit）传输给Instant-NGP，并通过Instant-NGP提供的脚本快速制作NeRF数据集。sdf（signed distance field）即符号距离场，通过记录每个点到模型边界的距离，在模型内侧的点数值为负，外侧的点数值为正，在边界上的点数值为0，所有距离为0的点构成了模型的表面，从而可以表示出一个2D或3D模型。
Ubuntu Instant-ngp 训练自有数据集
zfjBIT的专栏
04-05 1368
Ubuntu Instant-ngp 训练自有数据集
NeRF算法
billbliss的专栏
09-24 1998
NeRF 使用MLP学习density和color PlenOctree 使用MLP学习density和SH spherical，支持relight 使用八叉树加速遍历 相比NeRF速度提升约3000倍 SNeRG 使用MLP学习density，color和specular Opacity Regularization占用正则化，使模型稀疏化。 ray casting加速：相比于NeRF在视线方向做采样点的density和color的加权，SNeRG会在遇到不占用的voxel跳过，
【Instant-NGP】将图像、3D模型、场景迅速参数化为神经网络MLP（Instant-NGP论文复现）
Ryan2k的博客
04-28 3782
英伟达实验室在Instant-NGP论文中提出了一种多分辨率哈希编码方法，用于改善神经网络输入以提高近似质量和训练速度，并将其融合CUDA内核实现了对图像、sdf模型、NeRF模型等场景的三维重建。 本文简单介绍了Instant-NGP的基本原理，并对官方源码进行了复现。
S-NeRF：为自动驾驶打造的神经辐射场技术
最新发布
gitblog_00684的博客
09-13 711
S-NeRF：为自动驾驶打造的神经辐射场技术 S-NeRF [ICLR 2023] S-NeRF: Neural Radiance Fields for Street Views 项目地址: https://gitcode.com...
Instant-NGP稿子
pjm616的博客
06-20 605
稿子自用
Baking Neural Radiance Fields for Real-Time View Synthesis
迷若烟雨的专栏
06-23 469
ICCV 2021 OralBaking Neural Radiance Fields for Real-Time View Synthesis代码地址 snerg摘要神经辐射场在3D场景新视角合成方面取得了惊艳的进展，与之而来的是实时渲染上遇到了麻烦因为其在每个视角都要进行成百上千次的网络推理。我们提出了一个方法来训练NeRF，并且预计算和存储（也叫做烘培） 到SNeRG（稀疏神经辐射网格）。为了达到这个目的，我们提出了延迟渲染策略和一个稀疏的网格表达。结果表明其不进可以保留NeRF渲染高保真细节和视角相
Instant-NGP论文笔记
xunull的博客
11-29 4931
Instant-NGP论文笔记 内有B站讲解视频链接
【论文笔记】Instant NGP == Nvidia == SIGGRAPH 2022 Best Paper
Nismilesucc的学习札记
08-07 853
原始的NeRF训练和评估的代价很高，本文提出了一种新的编码方式来降低这一成本。这种编码方式在不牺牲质量的情况下允许使用较小的网络，从而大大减少浮点和内存访问操作的次数：一个小型神经网络被可训练特征向量的多分辨率哈希表所增强，其值通过随机梯度下降(SGD)进行优化。多分辨率结构使得网络能够区分哈希碰撞，网络能够从这些碰撞中学习到应该选择使用的特征。且这种简单架构在现代GPUs上很容易实现并行化。本文通过使用完全融合的CUDA内核实现整个系统来利用这种并行性，重点是尽量减少浪费的带宽和计算操作。........
【无标题】Instant NGP（使用哈希编码的多分辨率的即时神经图形原语）
pjm616的博客
06-20 1643
哈希
神经辐射场NeRF之Instant-ngp环境搭建与应用
tgj891的博客
09-17 3988
instant-ngp是目前NeRF领域最快的建模算法，它的出现加快的人人都可以建模的新时代，促进了真实世界模型的数字化发展。
【论文阅读笔记】NeRF+Mip-NeRF+Instant-NGP
weixin_43357695的博客
12-10 2165
NeRF是NeRF系列的开山之作，将三维场景隐式的表达为神经网络的权重用于新视角合成。MipNeRF和Instant NGP分别代表了NeRF的两个研究方向，前者是抗锯齿，代表着渲染质量提升方向；后者是采用多分辨率哈希表用于加速NeRF的训练与推理速度。通过NeRF实现新视角合成。
instant-ngp论文思维导图
qq_32981275的博客
07-20 1519
instant-ngp论文导图
论文阅读翻译-Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
weixin_45507599的博客
04-04 1272
编码；nerf；快速3D建模
NeRF模型之Instant-NGP原理及代码学习
fisherisfish的博客
08-02 8614
具有多分辨率哈希编码的即时神经图形基元。
大汇总 | 9种基于神经辐射场NeRF的SLAM方法你都知道吗？
CV_Autobot的博客
12-24 3625
作者|秦通 编辑| 算法邦点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【SLAM】技术交流群后台回复【SLAM综述】获取视觉SLAM、激光SLAM、RGBD-SLAM等多篇综述！随着2020年NeRF[1]的横空出世，神经辐射场方法（Neural Radiance Fields）如雨后春笋般铺天盖地卷来。NeRF最初用来进行图像渲染，即给定相机视...
大盘点！NeRF系列工作全面回顾
CV_Autobot的博客
03-17 4410
作者|氵景页 编辑| 极市平台原文链接：https://zhuanlan.zhihu.com/p/614008188点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群导读本文为作者对NeRF方向的几篇关键工作的总结，主要关注在细节、速率以及几何方向。前言在 NeRF 这个领域也算做了有一段时间了，这段时间在知乎上很难看到有比较有...
instant-ngp
07-27
instant-ngp是英伟达实验室开源的一个项目，全称为Instant Neural Graphics Primitives。它提供了四种神经图形原语的实现，包括神经辐射场（NeRF）、有符号距离函数（SDFs）、神经图像和神经体积。在每种情况下，都使用了tiny-cuda-nn框架进行训练和渲染，该框架使用了多分辨率哈希输入编码的多层感知机（MLP）。\[2\] 如果想要使用instant-ngp进行训练，可以直接打开instant-ngp的GUI界面（./instant-ngp），然后将transform.json文件拖放到GUI界面中即可进行训练。几秒钟后，您就可以看到渲染的结果。\[1\] instant-ngp可以在Windows和Linux上进行编译和运行。在Windows上，您可以从GitHub上下载与您的显卡对应的版本，解压缩后直接启动instant-ngp.exe。该项目还带有一个交互式GUI界面，方便使用和操作。\[2\] 如果您对instant-ngp感兴趣，可以访问项目主页https://nvlabs.github.io/instant-ngp/了解更多信息，并从GitHub上获取源代码https://github.com/NVlabs/instant-ngp。\[2\] #### 引用[.reference_title] - *1* *3* [Ubuntu20.04复现instant-ngp，自建数据集，导出mesh](https://blog.csdn.net/weixin_59961223/article/details/130438781)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [instant-ngp简介及NeRF的使用](https://blog.csdn.net/fengbingchun/article/details/129642774)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值