qq_45752541的博客

构建准确的环境表示法对于智能机器人在部署过程中做出决策至关重要。最近引入的三维高斯溅射（3DGS）可以实时渲染，它描述了多达数百万个原始的椭球体。3DGS已经迅速崛起。然而，一个尚未解决的关键问题仍然存在：如何将多个3DGS融合成一个单一的相干模型？这项工作的一个关键见解是利用逼真重建之间的二元性（duality），从三维结构渲染真实的二维图像，和三维基础模型，从图像对预测三维结构。为此，我们开发了PhotoReg，一个框架来注册多个逼真的3DGS模型与3D基础模型。由于3DGS模型通常是由单眼相机图像构建

分享近期三维重建的最新文章。欢迎留言补充

汇总了最近两年提升NeRF与GS重建质量的文章，包括去除瞬态物体干扰、不一致照明的消除等，包括SpotlessSplats、RobustBeRF、NeRF on the go、PixelNeRF等

InstantSplat 旨在在几秒钟内从稀疏视图，未设置的图像重建场景。我们的方法利用多视点立体（MVS）的能力，粗场景初始化，并提出了一个基于梯度的高斯属性和相机参数的联合优化，以自监督的方式。与以前性能最好的无姿态方法[5，10]相比，我们将所需的视图数量从数百个[5，10]减少到几个，从而使大规模3D建模仅具有最少数量的图像和无姿态视图

三维高斯喷溅（3DGS）是一种最新的三维重建技术，提供了高效的训练和渲染速度，使其适用于实时应用。然而，目前的方法需要高度控制的环境——没有移动的人或风吹的元素，以及一致的照明——以满足3DGS的视图间一致性假设。这使得重建现实世界的捕获成为问题。我们提出了无斑点斑图，一种利用预训练和通用特征结合鲁棒优化来有效地忽略瞬态干扰物的方法。我们的方法实现了最先进的重建质量。利用神经辐射场（NeRF）和最近的三维高斯喷溅（3DGS）从二维图像中重建三维场景一直是视觉研究的热点。

总结了最近两年基于Gaussian Splating的编辑、分割与修复原理，涵盖了Infusion、Bootstrap 3D 、GaussianGrouping、GaussianEditer等算法原理

3D-aware image synthesis任务，包括场景生成和 image-based 的新视图合成。本文提出了SSDNeRF，使用扩散模型从不同对象的多视图图像中学习神经辐射场（NeRF）的可推广先验。先前的研究使用两阶段方法，依赖于Pretrained NeRF作为真实数据来训练扩散模型。相比之下，SSDNeRF作为单阶段、端到端的训练范式，联合优化NeRF的自动decode 和 latent Diffusion模型，实现同时三维重建和先验学习（甚至包括稀疏视图）。测试时，

分组(或者分割)本身是模糊的，因为在不同粒度级别上，场景的分割标准不同——挖掘机的车轮应该被认为是独立的还是整体的一部分？本文提出辐射场分组 GARField，一种将三维场景，从带pose图像的输入分解为语义组的方法。方法通过物理尺度来接受群体的模糊性：通过优化一个按尺度划分的3D密切特征场，从SAM模型提供的二维mask来优化，以从粗到细的层次结构，通过自动树构造或用户交互推导出可能分组的层次结构。GARField能够实现对象的集体对象和各种子部分。

最近的实时视图合成技术在保真度和速度方面取得了迅速的进展。对比两种方法：易于栅格化的显式场景表示和建立在射线行进上的神经场之间出现了紧张关系，后者在质量上表现好，却难以实时。SMERF是一种视图合成方法，在3.5 mm3的实时大场景中实现了最先进的精度。主要有两个贡献：层次模型划分方案，它在限制计算和内存消耗的同时增加了模型容量，以及蒸馏训练策略，同时产生高保真度和内部一致性。SMERF可以在网络浏览器中实现完全6个自由度（6个自由度）的导航，并在普通智能手机和笔记本电脑上进行实时渲染。

总结近几年流行的三维生成方法，包括稀疏重建、文本到3D、图像到3D等。

交互式三维分割技术在三维场景理解和操作中具有重要意义，是一项值得关注的任务。然而，现有的方法在实现细粒度、多粒度分割或争夺大量计算开销方面面临挑战，抑制了实时交互。在本文中，我们引入了分段任意三维gasssin（SAGA），一种新的三维交互分割方法，无缝地将二维分割模型与三维高斯Splatting（3DGS）相结合。SAGA通过设计良好的对比训练，有效地将分割模型生成的多粒度二维分割结果嵌入到三维高斯点特征中。实验评估展现了竞争力的性能。

优化后的NeRF（神经辐射场）可以实现物体和大规模场景的高保真三维场景重建，却需要准确的相机参数作为输入（不准确的相机参数会导致模糊的渲染）。相机参数通常估计使用SfM（运动结构）作为预处理步骤（总是存在估计偏差）。先前的工作提出了与NeRF共同优化摄像机参数，但这些方法在具有挑战性的设置中容易出现局部最小值。在这项工作中，我们分析了不同的相机参数如何影响这个联合优化问题，并观察到标准参数对于小扰动表现出很大的幅度差异，这可能导致病态优化问题。我们建议。

多相机三维目标检测是自动驾驶领域的一个重要研究方向，常用方法是将多视图图像特征转换到统一的鸟瞰图（BEV）空间进行感知。我们提出了一种实例感知的鸟瞰图检测器（IA-BEV），它在深度估计过程中引入了图像平面上的实例感知信息。在nuScenes数据集上，方法在使用两个关键帧的情况下达到了最先进的结果近年来，多相机三维目标检测在自动驾驶领域受到了广泛的关注。与激光雷达相比，其摄像头能够更好地捕获物体的语义信息，并且具有更低的成本优势。这个领域的最新趋势是将多视图图像特征转换到统一的BEV空间进行后续的感知任务。

LocalRF：从一个随意捕获的视频，重建一个大规模的场景。为了处理未知pose，联合估计具有辐射场的相机pose，并逐步优化，显著提高重建的鲁棒性。为了处理大型的无界场景，我们在临时窗口内，动态分配局部辐射场（逐帧训练）

ZeroRF，一种新的逐场景优化方法，用于在神经场中360°重建稀疏视图。当前，NeRF（神经辐射场）已经证明了高保真的图像合成，但难以使用稀疏的输入视图，且在数据依赖性、计算成本和跨不同场景的泛化方面都面临着限制。为了克服这些挑战，ZeroRF的关键是将一个tailored（裁剪的）深度图像优先集成到一个因子分解的NeRF表示中。与传统方法不同的是，ZeroRF使用神经网络生成器参数化特征网格，能够在没有任何预训练或额外的正则化的情况下实现高效的稀疏视图360°重建。

隐式神经表示为动态场景重建和渲染的新方法铺平了道路。尽管如此，先进的动态神经渲染方法很大程度依赖这些隐式表示，经常难以捕捉场景中物体的复杂细节。此外，隐式方法在一般动态场景中实现实时渲染，限制了它们在各种任务中的使用。为了解决这一问题，我们提出了一种可变形的三维高斯分布的splatting 方法，该方法使用三维高斯分布来重建场景，并在具有变形场的规范空间中学习它们，以建模单目动态场景。我们还引入了一种没有额外开销的退火平滑训练机制，它可以减轻不准确的姿态对真实世界数据集中时间插值任务的平滑性的影响。

VastGaussian：基于3D GS的分块优化重建：引入了渐进式数据划分策略，允许独立的单元优化和无缝合并，获得具有足够三维高斯分布的完整场景。解耦外观建模消除了训练图像中的外观变化，实现了不同视图之间的一致渲染

SplaTAM，一个新的SLAM系统，利用3D Gaussian Splatting作为底层map表示，渲染和优化更快，明确的地图空间范围，和流线型的地图稠密化。可以同时优化pose估计、场景重建和新视图合成

编辑任务：从3D场景中移除不需要的对象NeRF已经成为一种流行的新视角合成方法。然而，编辑和操作NeRF场景仍然是一个挑战。其中一个重要的编辑任务是从3D场景中移除不需要的对象，并对其进行修复，使得替换区域在视觉上是合理的并与其上下文一致。本文方法：给定一组带姿态图像和单个输入图像的稀疏注释，首先获取目标对象的3D分割掩码。然后，我们引入了一种基于感知优化的方法，利用学习的2D图像inpainting 模型将其信息转化到3D空间中，并确保视角一致性。

常用的3D内容创建方式，主要是利用基于优化的通过分数蒸馏采样（SDS）进行的3D生成。该方法每个样本优化较慢，很难实际应用。本文提出了DreamGaussian，兼顾效率和质量：设计一个生成的三维高斯splitting 模型，并在 uv 空间中配合网格提取和纹理细化。与NeRF中使用的 occupancy pruning 相比，三维高斯分布的渐进致密化收敛速度明显更快。为了进一步提高纹理质量，促进下游应用，我们引入了一种高效的算法，将三维高斯矩阵转换为纹理网格并应用一个微调阶段来细化细节。

Zero-1-3：只给定一张RGB图像（为了在这种欠约束的设置下进行新的视图合成），利用大规模扩散模型，学习关于自然图像的几何先验。One-2-3-45则是在 Zero-123的基础上，进一步将不太一致的多视图像，提升到三维空间（mesh 或 sdf 形式）

，为了能够直接响应编辑指令并立即更新。提出的Seal-3D 它允许用户以像素级和自由的方式使用各种NeRF类主干来编辑NeRF模型，并立即预览编辑效果。为了实现这些效果，我们提出的代理函数将编辑指令映射到NeRF模型的原始空间，以及采用局部预训练和全局微调的师生训练策略，解决了这些挑战。

问题由于体积渲染的过程，NeRF的推理速度非常慢，这限制了在资源受限的硬件上（如移动设备）利用NeRF的应用场景。许多研究已经开展，以减少运行NeRF模型的延迟。然而，其中大多数仍需要高端GPU进行加速或额外的存储内存，这在移动设备上都不可用。方向另一个新兴方向利用神经光场（NeLF）进行加速，因为只需在射线上执行一次正向传递来预测像素颜色。然而，要达到与NeRF类似的渲染质量，NeLF中的网络设计需要进行大量计算，这对移动设备来说并不友好。工作在这项工作中，我们提出了一种在移动设备上。

采用一个基于扩散模型的条件图像生成器，并设计一个提示，鼓励它“想出”物体的新视图，从单一图像重建一个完整的360◦模型，使用最近的 DreamFusion 方法，我们将给定的输入视图、条件先验和其他正则化器融合到一个最终的、一致的重建中。重建提供了输入视图的忠实匹配，以及对其外观和三维形状的合理预测，包括物体不可见的一面。挑战在于，单个图像不包含足够的信息来进行三维重建。但可以通过利用人类对自然世界和其中所包含的物体的丰富知识来做到这一点，以弥补图像中缺失的信息。为了解决问题，必须将视觉几何。

将信号分解为Factor 的乘积，每个Factor 由经典场或神经场表示，它对转换后的输入坐标进行操作。这种分解产生了一个统一的框架，该框架容纳了几种最近的信号表示，包括NeRF、Plenoxels、EG3D、Instant-NGP和TensoRF。此外，模型允许创建强大的新信号表示，如“字典场”（DiF）。快速重建方法中，DiF方法提高了近似(approximation)质量、紧凑性和训练时间。实验表明，Factor Fields在二维图像回归任务上获得了更好的图像逼近质量。

Gaussian Splatting引入了三个关键元素，在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在1080p分辨率下实现高质量的实时（≥30 fps）的新视图合成。

从一个真实或人工生成的单张图像中创建高保真度的3D内容。这将为艺术表达和创意开辟新的途径，例如为像Stable Diffusion这样的前沿2D生成模型创建的幻想图像带来3D效果。通过提供一种更易于访问和自动化的创建视觉上惊人的3D内容的方法，研究者希望吸引更广泛的受众加入到轻松的3D建模世界中来。本文探讨了仅使用单张图像创建高保真度3D内容的问题。这本质上是一项具有挑战性的任务，需要估计潜在的3D几何结构，并同时产生未见过的纹理。为了解决这个问题，

合成满足用户需求的视觉内容通常需要对生成对象的姿态、形状、表达和布局的灵活和精确的可控性。“拖动”图像中的任何点，精确修改图像到目标点。它由两个主要组件组成1)一种基于特征的运动监督，驱动手柄点向目标位置移动；2)一种新的点跟踪方法，利用鉴别生成器特性来保持定位手柄点的位置。DragGAN可以使图像变形，精确控制像素的位置，从而操纵不同类别的姿态、形状、表达和布局，如动物、汽车、人、景观等。

从二维图像的三维重建被广泛的研究，训练与深度监督。为了放松对昂贵获取的数据集的依赖，我们提出了SceneRF，一种自监督的单目场景重建方法，只使用姿态图像序列进行训练。我们通过显式的深度优化和一种新的概率采样策略来有效地处理大场景。在推理时，一个输入图像足以产生新的深度视图，将其融合在一起得到三维场景重建。实验表明，在室内BundleFusion 和室外Semantic kitti上，我们在新的深度视图合成和场景重建方面优于所有最近的基线提示：以下是本篇文章正文内容，下面案例可供参考。

nerf正在成为一种常用的三维场景表示方法，允许新的视图合成。使用nerf进行三维重建时，需要删除个人信息或难看的对象。使用NeRF编辑框架并不容易实现这种删除，因此提出从RGBD序列创建的NeRF表示中删除对象。我们的NeRF绘制方法利用了最近在二维图像绘制中的工作，并由用户提供的mask指导。我们的算法是基于一个基于置信度的视图选择程序。它选择在创建NeRF中使用哪个单独的2D绘制图像，以便生成的绘制NeRF是3D一致的。我们表明，我们的NeRF编辑方法是有效的合成可信的内画在多观点一致的方式。

NeRF是2020年ECCV论文，任务是，是借助深度学习技术的计算机图形学任务，实现了摄像机级别的逼真的新视图合成。仅仅2年时间，相关work和论文就已经大量涌现。;；

神经辐射场（NeRF）是一种支持高质量视图合成的场景模型，对每个场景进行优化。在本文中，我们探索了允许用户编辑一个类别级的NeRF-也被称为条件辐射场（在一个形状的类别上训练）。具体地说，我们介绍了一种将粗糙的二维用户涂鸦传播到三维空间的方法，以修改局部区域的颜色或形状。首先，我们提出了一个条件辐射场，它包含了新的模块化网络组件，包括一个跨实例共享的形状分支。接下来，我们提出了一种针对特定网络组件的混合网络更新策略，以平衡效率和准确性。在用户交互过程中，我们提出了一个。