论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

已于 2023-01-30 11:12:30 修改
阅读量1.3k 收藏 6
点赞数 1
分类专栏： NeRF 文章标签： 人工智能
于 2023-01-30 10:59:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zaf0516/article/details/128798623
版权

目录

文章摘要

1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示)

2 Volume Rendering with Radiance Fields (基于辐射场的体素渲染)

2.1 经典渲染方程

2.2 经典的体素渲染方法

2.3 基于分段采样近似的体素渲染方法

3 Optimizing a Neural Radiance Field (优化一个神经辐射场)

3.1 Positional Encoding (位置编码)

3.2 Hierarchical Sampling Procedure (分层采样方案)

3.3 Implementation Details (实现细节)

4 Results (实验结果)

4.1 Datasets (数据集)

4.2 Ablation Studies (消融实验)

论文小结

论文下载

参考材料

相关工作

参考网址

文章摘要

NeRF 是 ECCV 2020 的 Oral，影响非常大，可以说从基础上创造出了新的基于神经网络隐式表达来重建场景的路线。由于其简洁的思想和完美的效果，至今仍然有非常多的 3D 相关工作以此为基础。
NeRF 所做的任务是 Novel View Synthesis（新视角合成），即在若干已知视角下对场景进行一系列的观测（相机内外参、图像、Pose 等），合成任意新视角下的图像。传统方法中，通常这一任务采用三维重建再渲染的方式实现，NeRF 希望不进行显式的三维重建过程，仅根据内外参直接得到新视角渲染的图像。为了实现这一目的，NeRF 使用用神经网络作为一个 3D 场景的隐式表达，代替传统的点云、网格、体素、TSDF 等方式，通过这样的网络可以直接渲染任意角度任意位置的投影图像。

NeRF 的思想比较简单，就是通过输入视角的图像每个像素的射线对于密度（不透明度）积分进行体素渲染，然后通过该像素渲染的 RGB 值与真值进行对比作为 Loss。由于文中设计的体素渲染是完全可微的，因此该网络可学习：

其主要工作和创新点如下：
1）提出一种用 5D 神经辐射场 (Neural Radiance Field) 来表达复杂的几何+材质连续场景的方法，该辐射场使用 MLP 网络进行参数化；
2）提出一种基于经典体素渲染 (Volume Rendering) 改进的可微渲染方法，能够通过可微渲染得到 RGB 图像，并将此作为优化的目标。该部分包含采用分层采样的加速策略，来将 MLP 的容量分配到可见的内容区域；
3）提出一种位置编码 (Position Encoding) 方法将每个 5D 坐标映射到更高维的空间，这样使得我们可以让我们优化神经辐射场更好地表达高频细节内容。

1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示)

NeRF 将一个连续的场景表示为一个 5D 向量值函数（vector-valued function），其中：

  • 输入为：3D 位置 x=(x, y, z)x=(x,y,z) 和 2D 视角方向 (θ,ϕ)
  • 输出为：发射颜色 c=(r, g, b)c=(r,g,b) 和体积密度（不透明度） σ。

对于其中的 2D 视角方向可以用下图进行直观解释：

在实际实现中，视角方向表示为一个三维笛卡尔坐标系单位向量 d，也就是图像中的任意位置与相机光心的连线，我们用一个 MLP 全连接网络表示这种映射： 

通过优化这样一个网络的参数Θ来学习得到这样一个 5D 坐标输入到对应颜色和密度输出的映射。

为了让网络学习到多视角的表示，我们有如下两个合理假设：

  • 体积密度（不透明度） σ 只与三维位置 x 有关而与视角方向 d 无关。物体不同位置的密度应该和观察角度无关，这一点比较显然。
  • 颜色 c 与三维位置 x 和视角方向 d 都相关。

预测体积密度 σ 的网络部分输入仅仅是输入位置 x，而预测颜色 c 的网络输入是视角和方向 d。在具体实现上：

  • MLP 网络 Θ​ 首先用 8 层的全连接层（使用 ReLU 激活函数，每层有 256 个通道），处理 3D 坐标 x，得到 σ 和一个 256 维的特征向量。
  • 将该 256 维的特征向量与视角方向 d 与视角方向一起拼接起来，喂给另一个全连接层（使用 ReLU 激活函数，每层有 128 个通道），输出方向相关的 RGB 颜色。

本文中一个示意的网络结构如下：

Fig 3 展示了我们的网络可以表示出非朗伯体效应（non-Lambertian effects）；Fig 4 展示了如果训练时没有视角 (View Dependence) 的输入（只有 x），则网络无法表示高光效果。

2 Volume Rendering with Radiance Fields (基于辐射场的体素渲染)

2.1 经典渲染方程

也就是二者的乘积为光速 cc。而我们又知道可见光的颜色 RGB 就是不同频率的光辐射作用于相机的结果。因此在 NeRF 中认为辐射场就是对于颜色的近似建模。

2.2 经典的体素渲染方法

我们通常接触的是渲染有网格渲染、体素渲染等，对于很多类似云彩、烟尘等等特效，常用的就是体素渲染：

Ray casting for volume rendering (© Zhanping Liu).

2.3 基于分段采样近似的体素渲染方法

下图非常形象地演示了体素渲染的流程：

3 Optimizing a Neural Radiance Field (优化一个神经辐射场)

上述方法就是 NeRF 的基本内容，但基于此得到的结果并能达到最优效果，存在例如细节不够精细、训练速度较慢等问题。为了进一步提升重建精度和速度，我们还引入了下面两个策略：

  • Positional Encoding (位置编码)：通过这一策略，能够使得 MLP 更好地表示高频信息，从而得到丰富的细节；
  • Hierarchical Sampling Procedure (金字塔采样方案)：通过这一策略，能够使得训练过程更高效地采样高频信息。

3.1 Positional Encoding (位置编码)

相似地，在 Transformer 中也有一个类似的位置编码操作，不过本文中与其还是根本不同。在 Transformer 中位置编码是用来表示输入的序列信息的，而这里的位置编码是做用于输入将输入映射到高维从而让网络能够更好地学习到高频信息。

3.2 Hierarchical Sampling Procedure (分层采样方案)

分层采样方案来自于经典渲染算法的加速工作，在前述的体素渲染 (Volume Rendering) 方法中，对于射线上的点如何采样会影响最终的效率，如果采样点过多计算效率太低，采样点过少又不能很好地近似。那么一个很自然的想法就是希望对于颜色贡献大的点附近采样密集，贡献小的点附近采样稀疏，这样就可以解决问题。基于这一想法，NeRF 很自然地提出由粗到细的分层采样方案（Coarse to Fine）。

Fine 部分：在第二阶段，我们使用逆变换采样 (Inverse Transform Sampling)，根据上面的分布采样出第二个集合 N_fNf​，最终我们仍然使用公式 (3) 来计算 \hat{​{C_{f}}}(r)。但不同的是使用了全部的 N_c + N_fNc​+Nf​ 个样本。使用这种方法，第二次采样可以根据分布采样更多的样本在真正有场景内容的区域，实现了重要性抽样 (Importance Sampling)。

如图所示，白色点为第一次均匀采样的点，通过白色均匀采样后得到的分布，第二次再根据分布对进行红色点采样，概率高的地方密集，概率低的地方稀疏 (很像粒子滤波)。

3.3 Implementation Details (实现细节)

4 Results (实验结果)

本文对比了很多相关的工作例如：

4.1 Datasets (数据集)

作者对比了在不同数据集中的表现，可以看出基本上所有数据集上都是遥遥领先的：

在仿真数据集上的可视化效果：

在真实数据集上的可视化效果：

4.2 Ablation Studies (消融实验)

我们在数据集 Realistic Synthetic 360◦ 上进行了不同参数和设置下的消融实验，结果如下：

主要对比的是如下几个设置：

  • Positional encoding (PE)，即 x
  • View Dependence (VD)，即 d
  • Hierarchical sampling (H)

其中：
第1行表示不包含以上任何一个部分的最小网络；
第2-4行表示每次分别去掉一个部分；
第5-6行表示样本图像更少时的效果差异；
第7-8行表示频率 LL （也就是位置编码x 的频率展开级别）设置不同时的效果差异。

论文小结

本文最大的创新点就是通过隐式表达绕过了人工设计三维场景表示的方法，能够从更高维度学习到场景的三维信息。但缺点是速度非常慢，这一点在后续很多工作也有改进。另一方面本文的可解释性，隐式表达的能力，依然需要更多工作来探索。
但归根结底，相信这样简洁有效的方式，未来会成为 3D 和 4D 场景重建的革命点，给三维视觉带来新的爆发。

论文下载

PDF | Website | Code (Official) | Code (Pytorch Lightning) | Recording | Recording (Bilibili)
Colab Example：Tiny NeRF | Full NeRF

参考材料

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[C]//European Conference on Computer Vision. Springer, Cham, 2020: 405-421.
[2] https://www.cnblogs.com/noluye/p/14547115.html
[3] https://www.cnblogs.com/noluye/p/14718570.html
[4] https://github.com/yenchenlin/awesome-NeRF
[5] https://zhuanlan.zhihu.com/p/360365941
[6] https://zhuanlan.zhihu.com/p/380015071
[7] https://blog.csdn.net/ftimes/article/details/105890744
[8] https://zhuanlan.zhihu.com/p/384946242
[9] https://zhuanlan.zhihu.com/p/386127288
[10] https://blog.csdn.net/g11d111/article/details/118959540
[11] https://www.bilibili.com/video/BV1fL4y1T7Ag
[12] https://zh.wikipedia.org/wiki/%E6%B8%B2%E6%9F%93%E6%96%B9%E7%A8%8B
[13] https://zhuanlan.zhihu.com/p/380015071
[14] https://blog.csdn.net/soaring_casia/article/details/117664146
[15] https://www.youtube.com/watch?v=Al6NTbgka1o
[16] https://github.com/matajoh/fourier_feature_nets

相关工作

DSNeRF：https://github.com/dunbar12138/DSNeRF （SfM 加速 NerF）
BARF：https://github.com/chenhsuanlin/bundle-adjusting-NeRF
PlenOctrees：https://alexyu.net/plenoctrees/ （使用 PlenOctrees 加速 NeRF 渲染）
https://github.com/google-research/google-research/tree/master/jaxnerf （使用 JAX 实现加快训练速度）

参考网址

  1. http://www.liuxiao.org/2021/11/%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE%B0%EF%BC%9Anerf-representing-scenes-as-neural-radiance-fields-for-view-synthesis/

zaf赵
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
辐射神经场算法——Wild-NeRF / Mipi-NeRF / BARF / NSVF / Semantic-NeRF / DSNeRF
weixin_44580210的博客
04-30 7146
辐射神经场算法——Wild-NeRF / Mipi-NeRF / NSVF辐射神经场算法——Wild-NeRF / Mipi-NeRF / NSVF 辐射神经场算法——Wild-NeRF / Mipi-NeRF / NSVF
Nerf-DS论文精读
farmerytr的博客
02-28 1275
在传统的动态NeRF模型中，一般是将动态场景的帧间移动点从观察空间变形到一个共同的规范空间用于渲染，但是这并没有考虑到变形过程中镜面反射物体颜色的变化。镜面反射物体的颜色不仅依赖于物体本身的属性，还受到其相对于光源和观察者位置的影响。当物体移动时，这些相对位置发生变化，导致反射颜色变化，所以传统的动态NeRF模型对镜面物体的渲染效果极差。该论文提出了一种重新参数化的动态NeRF模型，该模型通过使用观察空间坐标和表面法线来更好地模拟动态镜面表面。
探索DSNeRF：新一代神经辐射场建模工具
最新发布
gitblog_00057的博客
04-13 478
探索DSNeRF：新一代神经辐射场建模工具 项目地址:https://gitcode.com/dunbar12138/DSNeRF 在计算机图形学和虚拟现实领域，DSNeRF是一个值得关注的项目，它旨在通过神经网络模型重建高质量、动态的3D场景。这篇文章将深入探讨DSNeRF的核心技术、应用场景及其独特优势。 项目简介 DSNeRF（深度稀疏神经辐射场）是一种基于神经网络的建模方法，能够以高精度捕...
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Vpn_zc的博客
04-15 3764
神经辐射场（Neural Radiance Fields）nerf 0、nerf能做的是什么？ 其核心点在于非显式地将一个复杂的静态场景用一个神经网络来建模。在网络训练完成后，可以从任意角度渲染出清晰的场景图片。 1、nerf 有什么特色？ An approach for representing continuous scenes with complex geometry and materials as 5D neural radiance elds, parameterized as b.
【论文笔记】NeRF == UCB == ECCV‘2020
Nismilesucc的学习札记
08-07 786
蓝色 紫色 红色本文提出了一种最先进的利用稀疏输入视角图片合成复杂场景新视角的方法，该方法通过优化基本连续的 体渲染函数 来实现。本文算法的场景表示通过一个全连接网络来实现，输入是一个简单的连续5D坐标（空间位置：(x,y,z)，观察方向：(θ,Φ)），输出体密度和该空点在相关视角的发出光线上的颜色。本文通过查询沿着相机发出光线的5D坐标并通过传统的体渲染技术将输出的颜色和透明度投影到图像中。由于体渲染函数是可微的，优化我们的表示方法的唯一需要的输入是一组已知相机位姿的图像。................
Nerf论文阅读笔记Neuralangelo: High-Fidelity Neural Surface Reconstruction
出门吃三碗饭的博客
07-11 1444
Nerf论文阅读笔记Neuralangelo: High-Fidelity Neural Surface Reconstruction 神经表面重建已被证明是有效的非常适合通过基于图像的神经渲染恢复密集的 3D 表面。然而，当前的方法很难恢复现实世界场景的详细结构。为了解决这个问题，我们提出了 Neuralangelo，它将多分辨率 3D 哈希网格的表示能力与神经表面渲染相结合。我们的方法有两个关键要素：(1) 用于计算高阶导数作为平滑操作的数值梯度；(2) 对控制不同细节级别的哈希网格进行从粗到细的优化。
New-View-Synthesis:收集有关新视图综合的论文
04-08
野外的NeRF：不受约束的照片集的神经辐射场[arxiv] | [代码] | 2020年 GRF：学习用于3D场景表示和渲染的通用辐射场[arxiv] | [代码] DeRF：分解的辐射场[arxiv] | 2020年 NeRF ++：分析和改善神经辐射场[arxiv] ...
nerf:NeRF（神经辐射场）的代码发布
03-20
NeRF：神经辐射场 ||| Tensorflow实现，优化单个场景的神经表示并渲染新视图。 * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献ECCV 2020（口头...
nerf_big:NeRF但大
04-02
NeRF：神经辐射场 | | | Tensorflow实现，优化单个场景的神经表示并渲染新视图。 * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献ECCV 2020...
awesome-NeRF:精选的神经辐射领域论文精选清单
03-11
受启发的一系列令人敬畏的神经辐射领域论文的精选清单。 目录 民意调查 ，Dellaert和Yen-Chen，Arxiv 2020 | | 文件 ，Mildenhall等人，ECCV 2020 | | ，Zhang等人，Arxiv 2020 | | ，Rebain等。 2020年Arxiv |...
NeRF-Simple:NeRF（神经辐射场）的简单PyTorch实现
04-06
神经RF NeRF（神经辐射场）的简单PyTorch实现。 （该项目目前正在开发中）安装选项1：使用点子git clone https://github.com/murumura/NeRF.gitcd NeRF-Simplepip install -r environment.txt选项2：使用提供的...
论文阅读：NeRF Representing Scenes as Neural Radiance Fields for View Synthesis
Matrix-11
02-26 1337
论文阅读–NeRF Representing Scenes as Neural Radiance Fields for View Synthesis这是 2020 ECCV 的一篇文章，记得好像还获得了最佳论文奖的提名，这篇文章相当于将自由视点生成这个方向开辟出了一个新的解决思路。文章的作者们提出了一种可以对复杂场景进行新视点生成的方法，这个方法只需要少量的不同视角的输入，通过优化一个潜在的连续体场景函数，从而可以对复杂场景的新视角进行渲染，获得非常逼真的渲染效果。
一文搞懂 神经辐射场（Neural Radiance Fields，NeRF）
热门推荐
qq_44324007的博客
04-06 1万+
一文搞懂 神经辐射场（Neural Radiance Fields，NeRF）
实时神经辐射场论文（SNeRG、instant-NGP、MERF）
ling2828ling的博客
07-03 1406
在不牺牲质量的情况下用更小的神经网络实现训练和渲染的加速。Instant NGP也需要去查询目标位置周边体素里的特征向量，但不同的是，为了快速检索和节约内存，Instant NGP用了哈希表来检索，目标位置的周边几个体素位置被送入了哈希函数得到哈希值，这些哈希值表示这些格点对应的特征向量在哈希表里的哪个位置。SNeRF从间接网格中得知采样位置后，按间接网格里储存的指针去找3D纹理地图上的对应位置，得到features和colors，做alphas混合后，经过小的MLP用兔子的速度获得最终的color。
NeRF神经辐射场ECCV2020
白景屹的博客
06-08 6481
渲染可以看作：将三维场景投影到像素图像。对于同一个三维场景，在不同视角下，渲染的结果是不同的。当固定在某个位置的相机或者人眼在看三维场景时，场景中的一些点是不在相机光线上的，我们描述这个点的位置可以使用场景下的绝对位置(x,y,z)(x,y,z)(x,y,z)，为了得到渲染的合理结果（该位置处相机的成像），还需要知道相机光线和该点的关系，比如观察方向(θ,φ)(θ,φ)(θ,φ)： 比如上图人眼或相机固定，光线为黑色实线，点G与相机的关系即为(θ,ϕ)(\theta,\phi)(θ,ϕ)。场景中某个点的渲
NeRF基础知识点和研究方向
CV_Autobot的博客
04-19 1489
作者| 乱想 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/622380174?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【NeRF】技术交流群NeRF（Neural Radiance Field）即神经辐射场要解决的主要问题：从图像中得到三维模型什么是三维模型？抽象来说，三维模型主要分为形状（shape）和外...
Ubuntu下顺利安装yum
hua_you_qiang的博客
09-29 1万+
直接输入yum会报错 Command ‘yum’ not found, but can be installed with: sudo apt install yum 然后按照提示输入sudo apt install yum, 又会报错 正在读取软件包列表… 完成 正在分析软件包的依赖关系树 正在读取状态信息… 完成 E: 无法定位软件包 yum 显示无法定位软件包 查找原因是因为没有更新包 输入sudo apt-get update，进行更新。又会报错 E: 无法获得锁 /var/lib/apt
用深度学习完成3D渲染任务的蹿红
cpu077的博客
01-30 8748
深度学习完成3D渲染
NeRF（Neural Radiance Fields）学习笔记
weixin_62655037的博客
03-26 9623
NeRF简要概括：为用一个MLP神经网络去隐式地学习一个静态3D场景。 为了训练网络，针对一个静态场景，需要提供大量相机参数已知的图片。 输入：5D向量函数，包括一个空间点的3D坐标位置，以及视角方向。 输出： 是对应3D位置（或者说是体素）的密度，而 是视角相关的该3D点颜色。 神经网络可以写作 具体实现： 首先输入到MLP网络中，并输出 和中间特征，中间特征和 再输入到额外的全连接层中并预测颜色。 体素密度只和空间位置有关，而颜色则与空间位置以及观察的视角都...
nerf-simple:nerf(神经辐射场)的简单pytorch实现
09-10
nerf-simple是基于PyTorch框架实现的NERF（神经辐射场）模型的简单版本。NERF是一种用于生成高质量逼真图像的深度学习模型，它通过对场景中各个点的辐射值进行建模，从而实现精确的三维重建和渲染。 在NERF模型中，神经辐射场是核心概念之一。它是一个由多个隐藏层组成的神经网络，用于估计场景中每个点的辐射值。这里的辐射值通常表示像素的RGB颜色值或光强度。 nerf-simple通过使用PyTorch框架的张量操作和自动微分功能来实现NERF模型。首先，我们需要定义一个神经网络模型，包括隐藏层的数量和大小。这个模型可以基于现有的PyTorch模块，如nn.Linear和nn.ReLU，以便构建非线性变换和特征提取。 然后，我们需要定义训练过程，实现数据加载、优化器设置和损失函数计算等步骤。训练数据通常包括一系列场景中的图像及其对应的相机和深度信息。 在模型训练完成后，我们可以使用训练好的神经网络来生成逼真的图像。通过对场景中每个像素点的辐射值进行预测，我们可以还原出场景的三维形状和纹理信息，并最终渲染出高质量的图像。 总结来说，nerf-simple是一个使用PyTorch实现的简单版本NERF模型，它通过神经辐射场来估计场景中每个像素点的辐射值，从而实现精确的三维重建和渲染。通过定义神经网络模型、训练过程和图像生成过程，我们可以利用这个模型生成逼真的图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值