![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NeRF论文翻译与理解
文章平均质量分 92
顾默@
这个作者很懒,什么都没留下…
展开
-
Aleth-NeRF: Illumination Adaptive NeRF with Concealing Field Assumption
Aleth-NeRF: 带有隐蔽场假设的照明自适应 NeRF 照明照明标准的神经辐射场(NeRF)范例采用了一种以观察者为中心的方法,将光照和材料反射的各个方面仅仅从3D 点发射纠缠在一起。这种简化的渲染方法在准确建模在不利光照条件下捕获的图像方面提出了挑战,如弱光或过度曝光。受到古希腊发射理论的启发,我们假设视知觉是由眼睛发出的光线造成的,我们稍微改进了传统的 NeRF 框架,以便在具有挑战性的光照条件下训练 NeRF,并在无监督的情况下生成正常光照条件下的新视图。原创 2024-05-28 23:41:14 · 771 阅读 · 0 评论 -
NERF++:Analyzing and Improving Neural Radiance Fields神经辐射场的分析与改进
神经辐射场(NeRF)可以实现各种捕获设置的令人印象深刻的视图合成结果,包括360度捕获有界场景和前向捕获有界和无界场景。NeRF 将代表视图不变不透明度和视图相关颜色体积的多层感知器(MLPs)匹配到一组训练图像中,并基于立体渲染技术对新视图进行采样。在这份技术报告中,我们首先评论了辐射场及其潜在的模糊性,即形状-辐射模糊性,并分析了 NERF 在避免这种模糊性方面的成功。其次,我们解决了一个参数化问题,涉及到应用 NERF 到360度捕捉大规模,无界的3D 场景中的对象。原创 2024-05-08 21:32:13 · 833 阅读 · 3 评论 -
Depth Map Prediction from a Single Image using a Multi-Scale Deep Network(基于多尺度深度网络的单幅图像深度图预测)
预测深度是理解场景三维几何形状的一个重要组成部分。对于立体图像的局部对应可以进行估计,但是要从单幅图像中找到深度关系就不那么容易了,需要综合来自各种线索的全局和局部信息。此外,这项任务本质上是模棱两可的,大量的不确定性来自整体规模。在本文中,我们提出了一种新的方法来解决这个问题,使用两个深层网络栈: 一个作出粗略的全局预测基于整个图像,另一个精化这个预测局部。我们还应用尺度不变误差来帮助测量深度关系,而不是尺度。原创 2024-05-05 02:40:05 · 551 阅读 · 0 评论 -
NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo
在这项工作中,我们提出了一个新的多视图深度估计方法(),在最近提出的神经辐射场(NeRF)上利用传统的重建和基于学习的先验。与现有的基于神经网络的优化方法依赖估计不同,论文中的方法直接对隐式体积进行优化,消除了室内场景中像素匹配的困难步骤。我们的方法的关键是利用基于学习的先验来指导 NERF 的优化过程。该系统首先通过对COLMAP 算法的稀疏 SfM + MVS 重构进行调整,适应目标场景上的单目深度网络。然后,我们指出在室内环境中仍然存在形状-辐射模糊,并建议。原创 2024-05-02 12:24:59 · 903 阅读 · 0 评论 -
NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
我们提出了一种基于学习的方法来合成新的视图的复杂场景使用只有非结构化的收集野生照片。我们建立在神经辐射场(neRF)的基础上,它使用多层感知机的权重来模拟场景的密度和颜色作为三维坐标的函数。虽然 NERF 能够很好地处理在受控环境下捕捉到的静态图像,但是它无法在不受控的图像中建模许多普遍存在的、真实的现象,例如可变光照或瞬态遮挡。我们引入了一系列的扩展,以解决这些问题,从而能够从互联网上采集的非结构化图像进行精确的重建。原创 2024-04-24 18:19:07 · 615 阅读 · 0 评论 -
wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured using sparse monocular data
提出了一种新的神经辐射模型,该模型可以用自监督的方式进行训练,用于动态非结构化场景的新视角合成。我们的端到端可训练算法学习高度复杂,真实世界的静态场景在几秒钟内和动态场景与刚性和非刚性运动在几分钟内。通过区分静态像素和以运动为中心的像素,我们从稀疏的图像集合中创建高质量的表示。我们对现有的基准进行了广泛的定性和定量评估,并在具有挑战性的 NVIDIA 动态场景数据集上设置了最先进的性能测量方法。此外,我们评估我们的模型在具有挑战性的现实世界数据集,如胆固醇80和手术行动160的性能。原创 2024-04-24 17:18:04 · 539 阅读 · 1 评论 -
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
虽然二维生成对抗网络能够实现高分辨率的图像合成,但是它们在很大程度上缺乏对三维世界和图像形成过程的理解。因此,他们不提供精确的控制相机的观点或对象的姿态。为了解决这个问题,最近的一些方法利用了中间基于体素的表示结合可微渲染。然而,现有的方法要么产生较低的图像分辨率,要么在相机和场景的分离属性方面存在不足,例如,物体的识别可能会因视点的不同而不同。在这篇文章中,我们提出了一个辐射场的生成模型,这个辐射场最近被证明是成功的,用于单个场景的新视图合成。原创 2024-04-17 19:53:03 · 425 阅读 · 1 评论 -
GNeRF的一些具体细节
GNeRF,一个结合生成对抗网络(GAN)和神经辐射场(NeRF)重建的框架,用于未知甚至随机初始化相机姿态的复杂场景。最近基于 NERF 的进展已经获得了显着的现实新视图合成的普及。然而,大多数方法都严重依赖于摄像机姿态的精确估计,而目前很少有方法只能在摄像机轨迹相对较短的大致前向场景中对未知摄像机姿态进行优化,且需要对摄像机姿态进行粗略的初始化。与此不同的是,GNRF 仅在复杂的由外向内场景中使用随机初始化的姿势。我们提出了一个新的两阶段端到端的框架。原创 2024-04-17 19:42:13 · 730 阅读 · 0 评论 -
Depth-supervised NeRF: Fewer Views and Faster Training for Free 深度监督NeRF:更少的视图和更快的自由训练
一个潜在的原因是,标准的体绘制并没有强制场景的几何体由空白空间和不透明表面组成的约束。至关重要的是,SFM还产生稀疏的3D点,可以在训练期间用作“自由”深度监督:我们添加了一个损失,以鼓励射线的终止深度分布与给定的3D关键点相匹配,并包含深度不确定性。DS-NeRF可以提供更少的训练视图来渲染更好的图像然而训练速度还快2~3倍.此外,我们表明,我们的损失是兼容的其他最近提出的NeRF方法,表明深度是一个便宜的,容易消化的监督信号。然而,这样的模型产生的新的测试视图渲染差,基本上过拟合列车集。原创 2024-04-13 10:53:45 · 273 阅读 · 0 评论 -
Mip-NeRF 360 (无界抗混叠神经辐射场)论文阅读(更新中)
尽管神经辐射场(NeRF)已经在物体和小的有界空间区域上展示了令人印象深刻的视图合成结果,但是它们在“无界”场景中挣扎,在这些场景中,摄像机可以指向任何方向,内容可以存在于任何距离。在这种情况下,现有的NeRF类模型通常会产生模糊或低分辨率的渲染效果(由于附近和远处物体的细节和尺度不平衡) ,训练缓慢,并且可能由于从一小组图像重建大场景的任务的固有模糊性而展示伪影。我们提出了 mip-NeRF (一种处理采样和混叠的 NeRF 变体)的扩展,它。原创 2024-04-07 14:44:20 · 1118 阅读 · 1 评论