【论文笔记】NeRF == UCB == ECCV‘2020

已于 2023-02-27 15:21:13 修改
阅读量835 收藏 1
点赞数 1
分类专栏： 论文笔记 文章标签： 计算机视觉 人工智能
于 2022-08-07 15:35:59 首次发布
HUIKI
本文链接：https://blog.csdn.net/nismilesucc/article/details/126151130
版权

蓝色
紫色
红色

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Author From ：

在这里插入图片描述

学习链接：辐射神经场算法——Wild-NeRF / Mipi-NeRF / BARF / NSVF / Semantic-NeRF / DSNeRF

理解场的概念&【NeRF】背景、改进、应用与发展

从NeRF -> GRAF -> GIRAFFE，2021 CVPR Best Paper诞生记

Abstract

本文提出了一种最先进的利用稀疏输入视角图片合成复杂场景新视角的方法，该方法通过优化基本连续的 体渲染函数 来实现。本文算法的场景表示通过一个全连接网络来实现，输入是一个简单的连续5D坐标（空间位置：(x,y,z)，观察方向：(θ,Φ)），输出体密度和该空点在相关视角的发出光线上的颜色。本文通过查询沿着相机发出光线的5D坐标并通过传统的体渲染技术将输出的颜色和透明度投影到图像中。由于体渲染函数是 自然可微 的，优化我们的表示方法的唯一需要的输入是一组已知相机位姿的图像。

场景的隐式表达

参考学习：旷视 CV Master 基于神经网络的3D重建

在这里插入图片描述

体渲染

在这里插入图片描述

通过采样实现积分的离散化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

计图可微渲染新视角生成赛讲解

在这里插入图片描述

NeRF存在的问题

  1. 性能较差
  2. 训练代价大，通常需要训练几天甚至一周
  3. 渲染速度较慢，渲染一张800*800的图像需要大概30s
  4. 对高光、半透明材质的渲染效果较差
  5. 对复杂几何的拓展性较差，例如围巾等针织结构
  6. 对原场景三维几何的恢复效果较差，常出现渲染图像质量高但恢复几何质量低的情况【因为它同时估计了RGB和σ，可以通过一个bias调整，如果单独把σ取出来可能并不那么好】

一些思考

学习链接：NeRF系列公开课07 | 在非理想输入下NeRF的重建

取得成功的原因： positional encoding & hierachicle sampling 这些trick使得重建效果非常好
渲染过程简单，可复现性强 【体现在loss的计算和反向传播上（自然可微的）】

【补充】不足：仅能拟合建模单个场景、几乎不可编辑、对输入图像有要求

重建NeRF所需要的输入图片要求

  • 曝光相同
  • 图片清晰无模糊，噪声
  • 数量通常>15张
  • 图片大概在同一尺度上
  • 需要能得到正确相机标定数据
【ECCV 2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
梁瑛平的博客
09-15 654
本文提出了一种方法，通过使用稀疏的输入视图集来优化底层的连续体积场景函数，来实现合成复杂场景的新视图的最新结果。本文的算法使用全连接（非卷积）深度网络表示一个场景，该网络的输入是一个连续的 5D 坐标（包括空间位置(x,y,z)(x,y,z)(x,y,z)和视角方向(θ,φ)(θ,φ)），其输出是该空间位置的体积密度（volume density，可以理解成不透明度σ\sigmaσ）和视图相关的发射辐射cc。
nerf_pl:使用火炬手闪电在野外的NeRF（神经辐射场）和NeRF
03-19
nerf_pl 更新： （狂野的NeRF）实现已添加到分支！ 更新：最新的代码（使用最新的库）将更新到分支。 master分支仍然支持colab文件。如果不使用colab，建议切换到dev分支。 目前只会考虑dev和nerfw分支的问题。 :gem_stone:（实时演示！） 使用pytorch（ ）非官方实现 （神经辐射场）。这个仓库不是以重现性为目标，而是旨在提供一个更简单，更快速的培训过程（也就是带有详细注释的更简单的代码，以帮助您理解工作）。此外，我尝试通过将此算法集成到Unity等游戏引擎中来扩展更多的机会。 官方实现： ..参考pytorch实现： 推荐阅读：详细的NeRF扩展列表： :milky_way:特征 多GPU培训：针对合成数据集，在1小时内完成了8个GPU的培训！ 可轻松使用笔记本！ 彩色网格！ Unity中的！ Unity中的！ ，让您与其他人的场景一起玩！ 您可以在找到包括网格，混合
NeRf(神经辐射场)
qq_46684028的博客
06-27 975
NeRF中体积渲染的数值估计，位置编码，分层体积块采样等
NeRF三维重建—神经辐射场Neural Radiance Field概述
最新发布
xiaoxu的博客
10-01 851
NeRF是使用神经网络(MLP)来隐式的存储3D信息。NeRF是隐式的存储3d信息的，也就可以从另外的一个方向说明了，之前的3d信息是通过显示的方式来进行存储的。显式的3D信息：有明确x，y，z的值（mesh，voxel，点云…等）隐式的3D信息：无明确的x/y/z的值，只能输出指定角度的2D图片。我们从论文中就可以得到。模型输入是5D向量(x, y, z, theta, phi);模型输出是4D向量， (密度，颜色（RGB）);模型是8层的MLP。
神经辐射场NeRF
weixin_44360592的博客
12-10 770
导致合成的view表面粗糙，即连续，合成的view表面细腻。
神经辐射场（Neural Radiance Field，简称NeRF）
MrLi的博客
09-10 1102
神经辐射场（Neural Radiance Field，简称NeRF）是一种利用深度学习技术从部分二维图像集中重建复杂三维场景的新型计算机视觉技术。NeRF通过训练神经网络来学习特定场景的场景几何形状、对象和角度，从而能够从新的视角渲染出逼真的3D视图。
NeRF神经辐射场ECCV2020
白景屹的博客
06-08 7044
渲染可以看作：将三维场景投影到像素图像。对于同一个三维场景，在不同视角下，渲染的结果是不同的。当固定在某个位置的相机或者人眼在看三维场景时，场景中的一些点是不在相机光线上的，我们描述这个点的位置可以使用场景下的绝对位置(x,y,z)(x,y,z)(x,y,z)，为了得到渲染的合理结果（该位置处相机的成像），还需要知道相机光线和该点的关系，比如观察方向(θ,φ)(θ,φ)(θ,φ)： 比如上图人眼或相机固定，光线为黑色实线，点G与相机的关系即为(θ,ϕ)(\theta,\phi)(θ,ϕ)。场景中某个点的渲
论文笔记：NeRF++（2020）
flow_specter的博客
08-10 1445
论文链接：https://arxiv.org/pdf/2010.07492.pdf。
nerf_eccv2020.pdf
07-13
NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis Scene Representation NeRF（ Neural Radiance Fields）是一种基于深度学习的Scene Representation方法，旨在解决视图合成（View ...
NERF论文笔记(1/2)
持之以恒
03-04 1715
辐射神经场NeRF论文原理总结，与原作者对话，原论文的精华浓缩，一句顶十句。
ECCV 2020 Oral 论文汇总！
OpenCV中文网
07-07 8408
ECCV 2020论文已公布，本届 ECCV 共收到有效投稿5025篇，接收1361篇，其中Oral论文 104 篇，仅占 2%。本文汇总截止今日所有Oral 论文，其中已经公布完整论文...
nerf-pytorch:重现结果的NeRF（神经辐射场）的PyTorch实现
03-19
神经荧光素 （神经辐射场）是一种获得最新结果以合成复杂场景的新颖视图的方法。这是此存储库生成的一些视频（下面提供了预训练的模型）： 这个项目是一个忠实PyTorch实施的 ，同时运行速度更快的1.3倍再现的结果。该代码基于作者的Tensorflow实现，并且已经过测试以匹配数字。 安装 git clone https://github.com/yenchenlin/nerf-pytorch.git cd nerf-pytorch pip install -r requirements.txt 依赖关系（单击以展开） 依存关系 PyTorch 1.4 matplotlib 麻木 意象 图像ffmpeg configargparse LLFF数据加载器需要ImageMagick。 如果要在自己的真实数据上运行，则还需要设置（和COLMAP）来计算姿态。 如何运行？ 快速开始 下载两
nerf:NeRF（神经辐射场）的代码发布
03-20
NeRF：神经辐射场 ||| Tensorflow实现，优化单个场景的神经表示并渲染新视图。 * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献ECCV 2020（口头演示，最佳论文荣誉奖） TL; DR快速入门 要设置conda环境，请下载示例训练数据，开始训练过程，然后启动Tensorboard： conda env create -f environment.yml conda activate nerf bash download_example_data.sh python run_nerf.py --config config_fern.txt tensorboard --logdir=logs/summaries --port=6006 如果一切正常，您现在可以在
辐射神经场（NeRF, Neural Radiance Fields）
weixin_42605076的博客
06-15 657
辐射神经场（NeRF）通过使用神经网络和体渲染技术，从多视角二维图像中生成高质量的三维场景。尽管面临计算复杂度和训练时间长的挑战，但通过各种改进方法，NeRF在虚拟现实、电影制作、自动驾驶等领域展现出了广阔的应用前景。NeRF的出现，为三维重建和视角合成技术带来了革命性的进步。
初识神经辐射场NeRF
weixin_42620109的博客
01-31 1239
NeRF的研究目的是合成同一场景不同视角下的图像。方法很简单，根据给定一个场景的若干张图片，重构出这个场景的3D表示，然后推理的时候输入不同视角就可以合成（渲染）这个视角下的图像了。
神经辐射场 (NeRF) 概念
pylittlebrat的博客
11-05 3014
NeRF模型以其基本形式将三维场景表示为由神经网络近似的辐射场。辐射场描述了场景中每个点和每个观看方向的颜色和体积密度。F(x,θ,φ)→(c,σ),(1)其中x=(x，y，z)是场景内坐标，(θ，φ)表示方位角和极视角，c=(r，g，b)表示颜色，σ表示体积密度。该5D函数由一个或多个多层预加速器 (MLP) 近似，有时表示为f Θ。两个视角(θ，φ)通常由d=(dx，dy，dz)
神经辐射场（Neural Radiance Field，NeRF）的简单介绍
weixin_45657478的博客
09-22 2028
神经辐射场（Neural Radiance Field，NeRF）的简单介绍
机器学习笔记 - 神经辐射场（NeRF）的简要概述
学以致用 知行合一
10-30 1106
神经辐射场十分重要。在表示和渲染 3D 场景领域，神经辐射场 (NeRF) 在准确性方面取得了巨大突破。给定底层场景的多个图像，NeRF 可以从任意视点重建该场景的高分辨率、2D 渲染图。与局部光场融合 (LLFF) 和场景表示网络 (SRN) 等现有技术相比，NeRF 更能够捕获场景外观和几何形状的复杂组成部分（例如，依赖于视图的反射和复杂的材料）。NeRF的研究目的是合成同一场景不同视角下的图像。
简要介绍 | 神经辐射场(NeRF)：原理、挑战与未来展望
NLOS的博客
06-15 2712
NeRF的目标是从一组稀疏的二维视图中学习连续的三维场景表示，然后在任意视点生成高质量的新视图。)映射到颜色和透明度。)是其中一个极具潜力的研究方向，它结合了计算机图形学和深度学习，旨在通过神经网络对三维场景进行建模和辐射。神经辐射场作为一种新兴的视图生成方法，具有巨大的潜力和广泛的应用前景。NeRF通常需要大量的计算资源和存储空间，这限制了其在低端设备和实时应用中的使用。通过更高效的采样策略、网络结构和压缩技术，降低NeRF的计算和存储要求。通过在时间维度上扩展神经辐射场，实现对动态场景的建模和辐射。
self.poses = np.stack(self.poses)
07-09
这行代码是将一个名为`self.poses`的列表进行堆栈操作，并将结果存储回`self.poses`变量中。假设`self.poses`是一个包含多个数组的列表，`np.stack()`函数将这些数组沿着新的轴堆叠在一起。 `np.stack()`函数是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值