三维重建方法3D gaussian splatting与NeRF的区别和异同

已于 2024-11-15 15:32:30 修改
阅读量1.7w 收藏 135
点赞数 64
文章标签： 3d 计算机视觉 人工智能 深度学习 机器学习
于 2024-01-10 04:30:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43890835/article/details/135493398
版权

最近学习了一些三维重建相关的内容，目前比较主要的重建流派就是3DGS以及NeRF，NeRF作为2020年发布的文章轰动一时，影响深远，有很多NeRF based的相关工作在这些年涌现。3DGS作为2023年的new talk of the town，其在保证合成质量的情况下能够以数倍乃至数十倍的速度碾压许多NeRF based的方法，因此得到了广泛关注。这篇文章从几个角度比较了NeRF（最初的版本）和3D gaussian splatting的异同，道行尚浅，若有错误，欢迎大家讨论、批评、指正。

推荐一个3DGS的快速上手小项目：【3DGS入门项目】3DGS场景实时编辑

（原文中有一些词汇很难找到很恰当的中文翻译，为了不产生歧义在文中就直接使用了）

1.数据输入（INPUT）

NeRF：Nerf的输入是一张图像+该图像对应的相机位姿5D输入（xyz和θ与φ）

3DGS：3DGS的输入是由一张图像+经过SFM方法后生成的稀疏点云

比较：两者的差距

最低0.47元/天 解锁文章
Soumes
关注
三维重建 3D Gaussian Splatting：实时的神经场渲染
jacke121的专栏
01-01 1805
三维重建 3D Gaussian Splatting：实时的神经场渲染
学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研
gwpscut的博客
01-09 2万+
论文主页3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。
Neural Radiance Fields (NeRF) 和 3D Gaussian Splatting区别
鬼马行天的博客
04-18 3645
和是两种用于3D场景重建和渲染的技术。它们都旨在创建高质量的3D图像，但它们的技术原理和应用场景有所不同。
NeRF与3D Gaussian的异同对比
zhaoliang的博客
02-09 934
NeRF与3D Gaussian的异同对比
【GIS】重要技术3DGS
最新发布
giszz的博客
03-17 938
等属性，能够精确表达物体的几何形状、光照变化及材质特性。是一种基于显式三维高斯点云表示的。对场景进行建模，每个高斯点包含。
【3dgs】3DGS与NeRF对比
格物致知
10-09 3057
3DGS适用于需要显式几何信息实时处理以及精确测量的应用，如自动驾驶、工业检测、机器人视觉等。NeRF强调高质量渲染，适用于渲染复杂场景和生成逼真图像的应用，如电影特效、虚拟现实、虚拟旅游等场景，渲染效果优于几何精度。这两种方法各有所长，适合不同的应用需求。如果你需要精确的几何信息和实时处理，选择3DGS；如果需要逼真的场景渲染和处理复杂光照，NeRF则是更好的选择。
3D Guassians Splatting相关解读
qq_37346140的博客
01-16 3722
本文通过协方差矩阵来表达该点，此矩阵控制3D高斯的形状。较之3节中推导的传统表达式，本文中的公式去掉了均值，因为该高斯分布以点为中心，xyz的均值就在点上已经中心化了，所以均值设为0；左侧系数是为控制整个概率密度函数的积分为1，但此处不需要，没有积分为1的限制所以整个分布的大小能够自由控制。从初始的SFM点云出发，以每个点为中心生成3D高斯；然后用相机参数把点投影到图像平面上（Splatting）；
【3D 重建】NeRF，3D Gaussian Splatting
py今天刷题了吗
07-25 551
3,372次观看 2023年10月17日 #ai繪圖 #ai #assassinscreed來開一個新系列，講講一個computer vision 中很經典而且重要的題目，3D 重建 (3D reconstruction)。這幾年3D reconstruction技術上有革命性的進展，這個技術就是 Neural Radiance Field ，簡稱 NeRF。
【1 ：NeRF、3D Gaussian Splatting】
小晞的博客
11-16 594
19世纪：摄影测量法（Photogrammetry）
slam系列4：nerf和3dgs
kittyzc的博客
10-17 1856
常用的3维表示法：NeRF属于是density的模型，模型的参数如下：传统的 3D 模型表示方法，如 离散的Mesh 和点云，以及连续的 Nerf，通常面临着一个主要问题：随机采样过程中产生的噪声，这直接影响了渲染质量。3DGS 是在离散和连续间的一个平衡：在高斯球内部是连续的、可微的；在整个空间中，每个高斯球又是离散的。
NeRF与三维重建专栏（二）NeRF原文解读与体渲染物理模型
CV技术指南（微信公众号）
06-02 3603
上一章中我们大致介绍了三维重建的背景、NeRF应用于三维重建的难点以及相关数据集和评估指标，本章节将会详细介绍NeRF原文以及部分源码，以及体渲染的物理模型，来帮助读者更好理解NeRF。
传统sfm，mvs技术与nerf技术三维重建对比
Hhsh672772的博客
05-04 1868
传统sfm，mvs技术与nerf技术三维重建对比
三维重建-3D Gaussian Splatting
03-07
三维重建-3D Gaussian Splatting
三维重建-基于Three.js实现的3D-Gaussian-Splatting三维重建算法-附项目源码+流程教程-优质项目实战
10-17
在本项目中，通过Three.js实现了3D-Gaussian-Splatting算法，使得开发者可以在Web环境下直接使用该算法进行三维重建的开发和实验。项目源码的提供，使得开发者可以深入理解算法的实现细节，同时也提供了流程教程，...
NeRF与三维重建专栏（一）领域背景、难点与数据集介绍
CV技术指南（微信公众号）
05-14 3436
关于该系列专栏，主要介绍NeRF在三维重建中的应用（这里我们特指MVS，multi-view stereo，也即输入带位姿的图片，输出三维结构例如点云、mesh等；并且后面的工作也都是围绕MVS with NeRF讨论的。虽然也有without pose的NeRF，从重建的角度也可以理解为SFM with NeRF，例如ESLAM，Barf，但不是本专栏关注的重点），一方面是为了整理回顾一下现有资料，一方面是为了方便广大初学者更快了解NeRF如何应用于三维重建。
nerf三维重建
qq_44089890的博客
04-12 4455
Nerf（Neural Radiance Fields）是一种用于三维重建和图像合成的机器学习技术。它基于深度学习，使用神经网络来预测场景中每个点的颜色和密度，从而生成高质量的三维重建结果。Nerf 通过训练神经网络从不同角度的图像中学习场景的表面和光照特征，然后使用学习到的信息来生成新的视角的图像。与传统的三维重建方法不同，Nerf 不需要对场景进行显式的几何建模，也不需要使用多张图像进行立体匹配。相反，它使用单张图像和相机参数来训练神经网络，从而生成高质量的三维重建结果。
火爆科研圈的三维重建技术：Neural radiance fields (NeRF)
热门推荐
02-20 3万+
如果说最近两年最火的三维重建技术是什么，相信NeRF[1]是一个绝对绕不过去的名字。这项强到逆天的技术，一经提出，就被众多研究者所重视，并投入人力对该技术进行深入研究并改进。仅仅过了不到两年的时间，NeRF及其变种网络已经成为重建领域的主流方法。由此可见，NeRF技术的新颖性与实用性。今天，我们就来看一看NeRF是个啥，学习以下该方法到底强在哪里。 1. 简介 NeRF全称为Neural Radiance Fields(神经辐射场)，是一项利用多目图像重建三维场景的技术。该项目的作者来自于加州大学伯..
顶会上的NeRF引爆三维重建！
阿木寺的博客
01-11 1791
近几年来，人工智能领域出现过很多热门的话题，有些热度持续很长时间，有些如同昙花一现，而随着机器人、自动驾驶、AR等技术的飞速发展，这些领域涌现了大量独角兽公司，开发出大量以3D感知、融合定位、重建、测距等多个应用场景的产品。三维重建这个名词也再次变得火热起来。简单来说，三维重建（3D Reconstruction）是指用相机等传感器拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物...
一文带你入门 3D Gaussian Splatting
03-01 1万+
3D 高斯的协方差矩阵 Σ� 表示了其在空间中的形状和方向，它可以用一个对称正定矩阵来表示，也可以用一个对角矩阵和一个旋转矩阵的乘积来表示，以减少参数的数量。3D 高斯的权重 �� 表示了其在场景中的贡献，它可以用一个非负的标量来表示，也可以用一个球谐函数来表示，以增加其与视图相关的表达能力。很形象，我们可以想象一下，把一个雪球（高斯球）扔到一个玻璃盘子上，雪球散开以后，在撞击中心的雪量（对图像的贡献）最大，而随着离撞击中心距离的增加，雪量（贡献） 减少。在整个空间中，每个高斯球又是离散的。
三维重建nerf和3D高斯
01-18
### NeRF 和 3D 高斯技术在三维重建中的应用 #### NeRF 技术概述 NeRF（神经辐射场）是一种用于从多视角图像合成新视图的方法。该方法通过训练一个连续的体积密度函数和发射率来表示场景，从而能够渲染任意视角下的高质量图像[^3]。 具体来说，在给定一组带有姿态信息的照片集合的情况下，NeRF 使用深度学习模型预测空间中每一点的颜色和不透明度。这些属性共同定义了一个隐式的体素网格，可以用来生成新的观察角度下的逼真画面。为了提高处理真实世界数据的能力，一些改进版本如 NeRF-W 被提出，它们针对自然环境中的复杂光照条件进行了优化，并加入了时间一致性等因素的支持。 ```python import torch from nerf import build_nerf_model # 构建并初始化NeRF网络结构 model = build_nerf_model() ``` #### 3D 高斯分布的应用 另一方面，基于3D高斯的技术则提供了一种不同的途径来进行高效的实时渲染。例如，在《3D Gaussian Splatting for Real-Time Radiance Field Rendering》论文中提到的方法利用了稀疏的球形高斯粒子来近似复杂的光源效果。这种方法不仅减少了计算量，还允许快速更新动态变化的内容[^1]。 对于每一个可见点云上的样本位置p_i及其对应的法向n_i，关联着一个权重w_i以及协方差矩阵Σ_i描述局部几何特征；当光线穿过此区域时，则依据这些参数计算出相应的颜色贡献c(p)，最终形成完整的视觉表现形式： \[ c(\mathbf{r})=\sum_{i} w_{i}\left[\exp \left(-\frac{\|\mathbf{r}-\mu_{i}\|^{2}}{2 \sigma_{i}^{2}}\right)\right]\cdot C_{i}, \] 其中 \(C_i\) 表示第 i 个高斯项的颜色值，\(μ_i\) 是其均值向量，而 \(\sigma^2_i=diag(Σ_i)\)。 ```cpp // 计算单个高斯成分对光线上某点的影响 float gaussianContribution(const Vector3& point, const GaussianComponent& comp) { float distSquared = (point -distSquared / (2 * comp.variance)) * comp.color; } ``` #### 结合两者的优势 结合这两种技术的优点可以在保持高效的同时获得更精细的结果。比如，《Gaussian Activated Neural Radiance Fields for High Fidelity Reconstruction & Pose Estimation》研究就探索了如何将激活后的高斯组件融入到传统的NeRF框架内，以此提升重建精度与姿态估计的效果[^2]。 这种混合方式使得系统能够在较低分辨率下捕捉大尺度形状特性，而在更高层次上保留细微纹理细节，进而实现了更加真实的三维重建体验。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值