Zip-NeRF

最新推荐文章于 2025-05-08 20:19:02 发布

whaosoft143

最新推荐文章于 2025-05-08 20:19:02 发布

阅读量488

点赞数 1

分类专栏：人工智能文章标签：人工智能

本文链接：https://blog.csdn.net/qq_29788741/article/details/130704417

版权

研究者提出Zip-NeRF模型，结合了抗混叠的NeRF和基于网格的快速训练方法，解决了神经辐射场训练中的空间和z轴混叠问题。该模型降低了8%-76%的错误率，训练速度提升22倍，适用于VR场景如线上博物馆和看房。通过多采样和预过滤技术，Zip-NeRF能生成高质量的3D图像，为NeRF逆渲染技术的进步提供了新途径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020 年，加州大学伯克利分校、谷歌的研究者开源了一项 2D 图像转 3D 模型的重要研究 ——NeRF。它可以利用几张静态图像生成多视角的逼真 3D 图像，生成效果非常惊艳：NeRF原班人马

打造

三年之后，这支团队做出了更惊艳的效果：在一项名为「Zip-NeRF」的研究中，他们完整还原了一个家庭的所有场景，就像无人机航拍的效果一样。

作者介绍说，Zip-NeRF 模型结合了 scale-aware 的抗混叠 NeRF 和快速基于网格的 NeRF 训练，以解决神经辐射场训练中的混叠问题。与以前的技术相比，Zip-NeRF 的错误率降低 8%-76%，训练速度提高 22 倍。

这项技术有望在 VR 领域得到应用，比如参观线上博物馆、线上看房。

论文地址：https://arxiv.org/pdf/2304.06706.pdf
项目地址：https://jonbarron.info/zipnerf/

论文概览

在神经辐射场（NeRF）中，一个神经网络被训练来模拟一个三维场景的体积表示，这样通过光线跟踪就可以呈现该场景的新视图。NeRF 已被证明是一种有效的任务工具，如视图合成，生成媒体，机器人，和计算摄影。

Mip-NeRF 360 和 instant-NGP（iNGP）都是基于 NeRF 的形式：通过投射 3D 射线和沿光线距离 t 的位置来渲染像素，这些特征被输入给神经网络，输出渲染后呈现颜色。反复投射与训练图像中的像素对应的光线，并最小化（通过梯度下降）每个像素的渲染颜色和观察颜色之间的误差来完成训练。

Mip-NeRF 360 和 instant-NGP 在沿射线的坐标参数化方式上有显著差异。在 mip-NeRF 360 中，一条射线被细分为一组区间 [t_i，t_i+1]，每一个代表一个锥形锥，其形状近似于多元高斯值，该高斯值的期望位置编码被用于一个大型 MLP [3] 的输入。相比之下，instant-NGP 是将位置的特征值插值到一个不同大小的三维网格层次中，之后使用一个小的 MLP 生成特征向量。作者们提出的模型结合了 mip-NeRF360 的整体框架和 instant-NGP 的特征化方法，但盲目地直接结合这两种方法，会引入了两种混叠形式：

1、instant-NGP 的特征网格方法与 mip-nerf360 的尺度感知集成位置编码技术互相不兼容，因此 instant-NGP 产生的特征相对于空间坐标进行别名，从而产生别名的渲染图。在后面的介绍中，研究者通过引入一种用于计算预过滤的 instant-NGP 特性的类似