Instant-NGP稿子

最新推荐文章于 2024-12-17 23:17:48 发布
最新推荐文章于 2024-12-17 23:17:48 发布
阅读量684 收藏 1
点赞数
文章标签： 论文阅读 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pjm616/article/details/131301367
版权
Instant-NGP是一种使用哈希编码的多分辨率神经图形技术，能在短时间内生成高质量图像。该方法通过不同分辨率等级的哈希表捕获特征，利用小规模网络处理哈希特征。在可能出现的哈希冲突问题上，Instant-NGP依赖神经网络的梯度优化来解决。实验表明，这种方法在训练速度上优于其他技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Instant-NGP是英伟达2022年发表的一篇论文，全称是使用哈希编码的多分辨率的即时神经图形原语

那这篇文章呢

这篇文章提出了一种对输入做哈希encoding的方式，来让很小的网络也能学到很高的质量。

这个图片是文中的一个图片，表现了可以在训练很短的时间内就将图像表现得很清晰

那么这些输入的特征怎么去得到得呢？就是用到了一个多分辨率哈希编码，我们可以结合下面的参数来看

这个L表示具有多少分辨率等级，图中只画出了两个等级，就是L=0和L=1，那么具体到实际中的是16个等级，然后每一个等级的时候其实对应一个哈希表，具体有多少项就是用T表示（可以理解为哈希表的表长这里是214到220），然后每一项特征的维度是多少使用F表示，这里就是F=2

下面的Nmin和Nmax在代码里也是固定值；这两个表示最小分辨率和最大分辨力
这两个值就确定了在这个分辨率下，我要将这图片分为多少个网格

然后我们再来看他是如何得到哈希特征的，首先这个点我们可以计算他在哪些方格当中，那他落在这两个之中就对应了不同的等级

在L=1这个登记下我们去计算他的哈希特征。首先我们会将这四个顶点进行一个哈希映射，得到一个哈希索引就是0 2 3 6，然后我们再去对应的哈希表中去找相应的哈希特征，然后我们再用双线性插值的方法得到这个点的哈希特征

对于每一个等级下都会得到一个F=2的哈希特征，最终通过多分辨率哈希编码以后最终得到的就是16*2的哈希特征，此外还有一个辅助特征进行一个拼接，最后再送入到这个比较小的哈希网络中

2^14对于比较小的level的话，网格的数量小于T，那就不会发生哈希冲突
但是在比较精细的level下，比如这个最大分辨率，那么网格的总数可能会大于table length，那有可能发生哈希冲突，索引到相同的value值，发生哈希碰撞，但是作者没有在代码层面设计处理这个哈希碰撞，因为在神经网络的训练中，可以让神经网络来处理这个哈希碰撞。
靠梯度来进行哈希表参数的优化。
如果两个点索引到同一个位置发生了冲突，因为n3上的立方上的场景中的值是没有意义的，物体表面n2是有意义的，因此在n^2点位上的梯度是有价值的，在空的点位上的值是没有价值的，这样表面上点的梯度就会站指导地位，把冲突解决掉

也就是表面上的点会更强烈的促进网络的更新
在这里插入图片描述

比如说 这里的2的14和2的19，他的迭代时间差的不是特别的大，但是性能的话会好一些，但如果更新到21的话，意味着这个table会很长，那这个值得更改就会比较漫长，那么时间就会久一些，性能也会提升一些

这里面两种是两个数据集

另一个是F得实验
在这里插入图片描述

这个表对比了他们得实验以及另外三种实验，这八个是数据集得实验结果
这里面金色得话就是金牌得意思

主要是这里的训练速度上是远远好于其他方式得
在这里插入图片描述

Instant-NGP复现详解
程序猿追的博客
09-23 2309
但是，如果你是ios用户，那幸运的是，你可以从苹果app store下载一个叫NeRF Capture的app（不清楚安卓是否有类似的app），它可以将图像及坐标（大概用到了ARKit）传输给Instant-NGP，并通过Instant-NGP提供的脚本快速制作NeRF数据集。sdf（signed distance field）即符号距离场，通过记录每个点到模型边界的距离，在模型内侧的点数值为负，外侧的点数值为正，在边界上的点数值为0，所有距离为0的点构成了模型的表面，从而可以表示出一个2D或3D模型。
NeRF 和 Instant-NGP 的简单理解
weixin_45596016的博客
11-12 1122
如果想生成这个点，那么从这个视角看过去，视线会和三维空间中的物体相交得到很多点，对于相交得到的每个点，如果输入三维坐标和方向信息，通过训练好的神经网络，计算出这个点的 RGB 值和体密度值，得到视线上所有点的信息后，通过体渲染将信息合并起来，得到当前像素点的值。：计算两张图片的均方误差来量化图像间的空间结构差异，PSNR值越高，表示生成图像质量与初始图像之间的相似度越高，但由于人眼会忽略某些高频率光线的影响，会造成视觉感知上的失真，所以PSNR无法很好地拟合人类视觉感知到的图像差异。
Nvidia最新三维重建技术Instant-ngp初探
热门推荐
04-22 2万+
最近逛技术论坛，发现一个牛到了不得的英伟达项目，刚刚发布，其全称为：Instant Neural Graphics Primitives，项目链接为：https://github.com/NVlabs/instant-ngp 该项目提出一个称为Multiresolution Hash Encoding的技术，能够大大提升NeRF网络的训练速度，使之可以从几分钟缩短到几秒钟(非常惭愧的是，NeRF这个被广泛接受的三维重建技术我也是第一次听说)。其演示结果好的让人震惊。 ...
【Instant-NGP】将图像、3D模型、场景迅速参数化为神经网络MLP（Instant-NGP论文复现）
Ryan2k的博客
04-28 5767
英伟达实验室在Instant-NGP论文中提出了一种多分辨率哈希编码方法，用于改善神经网络输入以提高近似质量和训练速度，并将其融合CUDA内核实现了对图像、sdf模型、NeRF模型等场景的三维重建。 本文简单介绍了Instant-NGP的基本原理，并对官方源码进行了复现。
instant-ngp
Meteor的笔记
07-20 6294
instant-ngp
【无标题】Instant NGP（使用哈希编码的多分辨率的即时神经图形原语）
pjm616的博客
06-20 1846
哈希
Instant-NGP论文笔记
Iron_lyk Blog
11-05 825
另外，在创建数据集时，会计算一个bounding-box，这是为了计算grid用的（https://github.com/yashbhalgat/HashNeRF-pytorch中的get_bboxed_from_blenderobj()函数可以计算）。instant-ngp的nerf模型包含两个MLP，第一个MLP就两个全连接，输入维度是32（16层分辨率x2），输出是16（用于预测密度）。第二个MLP有三个全连接，输入如下（16+16），输出是3（rgb）。
NeRF、Mip-NeRF、Instant-NGP、NeRF++
12-16
NeRF、Mip-NeRF、Instant-NGP、NeRF++ 是一系列与三维渲染、体渲染相关的技术，它们利用深度学习和计算机图形学的方法来创建和优化三维场景的渲染。 首先，NeRF（Neural Radiance Fields）是一种创新的三维表示方法...
instant-ngp.zip
09-13
instant-ngp.zip压缩包的内容涉及了深度学习和计算机图形学领域的神经辐射场（Neural Radiance Fields，简称NeRF）技术。NeRF是一种通过深度神经网络来表示和渲染三维场景的创新方法，它能够在给定一系列二维图片的...
【论文笔记】Instant NGP == Nvidia == SIGGRAPH 2022 Best Paper
Nismilesucc的学习札记
08-07 921
原始的NeRF训练和评估的代价很高，本文提出了一种新的编码方式来降低这一成本。这种编码方式在不牺牲质量的情况下允许使用较小的网络，从而大大减少浮点和内存访问操作的次数：一个小型神经网络被可训练特征向量的多分辨率哈希表所增强，其值通过随机梯度下降(SGD)进行优化。多分辨率结构使得网络能够区分哈希碰撞，网络能够从这些碰撞中学习到应该选择使用的特征。且这种简单架构在现代GPUs上很容易实现并行化。本文通过使用完全融合的CUDA内核实现整个系统来利用这种并行性，重点是尽量减少浪费的带宽和计算操作。........
实验复现—Instant-NGP
qq_58767065的博客
12-17 1185
键盘操作： W S A D 在场景中前后左右移动， space （空格）和c 分别实现上升和下降鼠标操作：左键拖拽旋转视角，中键拖拽平移视图，滚轮缩放视图。
英伟达NeRF项目Instant-ngp在Windows下的部署，以及数据集的制作（适合小白的保姆级教学）
weixin_50756716的博客
09-01 6267
Instant-ngp的依赖项目较多，配置环境过程较为繁琐，笔者在部署过程中遇到诸多阻碍，故此篇博客是针对初入NeRF小白的保姆级配置教程,同时详细阐述了如何制作NeRF的数据集，以及如何对数据进行筛选。
实时神经辐射场论文（SNeRG、instant-NGP、MERF）
ling2828ling的博客
07-03 1785
在不牺牲质量的情况下用更小的神经网络实现训练和渲染的加速。Instant NGP也需要去查询目标位置周边体素里的特征向量，但不同的是，为了快速检索和节约内存，Instant NGP用了哈希表来检索，目标位置的周边几个体素位置被送入了哈希函数得到哈希值，这些哈希值表示这些格点对应的特征向量在哈希表里的哪个位置。SNeRF从间接网格中得知采样位置后，按间接网格里储存的指针去找3D纹理地图上的对应位置，得到features和colors，做alphas混合后，经过小的MLP用兔子的速度获得最终的color。
论文阅读翻译-Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
weixin_45507599的博客
04-04 1585
编码；nerf；快速3D建模
instant-ngp总结
Meteor的笔记
07-22 7224
研究人员尝试对如何采样这部分进行设计和优化，Nerf最开始的采样方案是分层采样的策略，后来的NSVF提出的，基于体素的多分辨率采样+自剪枝的策略，也多速度的问题做了一定程度的优化，但是这个优化是针对特殊task的，所以不具备通用性。在这里我们的解决方案就是利用离散积分的方式，对射线上的点进行均匀采样，利用采样点的离散的积分和，来模拟上面的过程。那在实际的train或者渲染过程，也是上面刚才说到的，利用离散积分的方式，对空间中的点进行采样，然后渲染出对应视角的颜色值，将其与GT做比较，利用误差去优化网络。..
【论文阅读笔记】NeRF+Mip-NeRF+Instant-NGP
weixin_43357695的博客
12-10 2529
NeRF是NeRF系列的开山之作，将三维场景隐式的表达为神经网络的权重用于新视角合成。MipNeRF和Instant NGP分别代表了NeRF的两个研究方向，前者是抗锯齿，代表着渲染质量提升方向；后者是采用多分辨率哈希表用于加速NeRF的训练与推理速度。通过NeRF实现新视角合成。
[NeRF] Instant-ngp
weixin_49003609的博客
04-23 687
instant-ngp
NeRF模型之Instant-NGP原理及代码学习
fisherisfish的博客
08-02 9831
具有多分辨率哈希编码的即时神经图形基元。
Instant-NGP与nerf
最新发布
03-23
### Instant-NGP 和 NeRF 的对比与关系 #### 背景介绍 Neural Radiance Fields (NeRF) 是一种基于神经网络的方法，用于从多视角图像合成高质量的三维场景渲染效果[^1]。它通过优化一个连续的体积密度场和辐射场来实现逼真的视图合成。然而，NeRF 存在一些局限性，例如训练时间较长、内存消耗大以及对高频细节处理不够理想等问题。 Instant Neural Graphics Primitives (Instant-NGP) 则是一种改进版方法，旨在解决上述问题并提升效率。Instant-NGP 使用了一种混合表示法——结合了哈希编码（hash encoding）和多层感知机（MLP），从而显著提高了模型的学习速度和推理性能[^4]。 --- #### 主要差异分析 ##### 1. **计算效率** Instant-NGP 显著提升了训练和推断的速度。相比于传统的 NeRF 方法可能需要数小时甚至更长时间才能完成单个场景的训练，Instant-NGP 可以在几秒钟到几分钟内达到相似的效果。这是由于其采用了高效的哈希表结构来进行空间划分，并减少了冗余参数的数量[^4]。 ##### 2. **存储需求** NeRF 需要较大的存储容量来保存复杂的隐式函数权重矩阵；而 Instant-NGP 借助稀疏网格技术降低了整体所需的显存占用率，在实际应用中更加友好[^5]。 ##### 3. **泛化能力** 尽管两者都能很好地重建已知数据集中的物体外观特性，但在面对未知环境或者更大规模的数据集合时，Instant-NGP 展现出更强的适应性和鲁棒性。这是因为它的设计允许快速调整配置以匹配不同的输入条件[^6]。 ##### 4. **频率响应行为** 正如提到过的那样，标准版本的 NeRF 对于距离较远却携带高频率变化的信息难以有效捕捉，容易造成所谓的“信号走样”。相比之下，Instant-NGP 更加注重平衡全局一致性和局部精细度之间的关系，因此能够更好地应对这种情况下的挑战[^7]。 --- #### 关系探讨 虽然二者都属于神经辐射领域范畴内的研究方向之一，但从本质上讲，Instant-NGP 应该被看作是对经典 NeRF 架构的一次重要升级迭代而非完全替代品。具体来说： - 它们共享相同的目标：即利用深度学习手段构建精确且视觉上令人满意的虚拟世界表现形式； - 同时也继承了一些共同的技术理念比如依赖 MLP 来预测颜色强度分布规律等等； - 不过为了克服原始方案存在的缺陷，后者引入了许多创新机制使得整个流程变得更加高效便捷同时也具备更高的灵活性去满足多样化的需求场景。 ```python import torch from instant_ngp import NGPModel # Example usage of Instant-NGP model initialization and training loop. model = NGPModel() for epoch in range(num_epochs): predictions, loss = model.train_step(input_data) optimizer.zero_grad() loss.backward() optimizer.step() ``` --- #### 总结 综上所述，Instant-NGP 提供了一个更快捷、资源利用率更高并且适用范围更为广泛的解决方案相对于传统意义上的 NeRF 技术而言。不过需要注意的是，任何新技术都有其特定的应用边界，在选用之前还需充分考虑项目实际情况做出合理判断。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值