3D 高斯泼溅(Gaussian Splatting)-3D重建的3DGS时代

已于 2024-05-17 13:37:46 修改
阅读量4k 收藏 28
点赞数 19
分类专栏： AR/VR_3D 三维重建/SLAM 场景处理/RgbD累积 文章标签： 3d
于 2024-05-17 09:41:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wishchin/article/details/138992971
版权

3D重建自从NeRfs出现之后又热闹了一次，3D GS技术一时间燃变了整个三维重建和Slam领域，几个月不见，沧海桑田。

NeRF貌似已成为过去式，三维重建进入了3DGS时代，且3DGS在各方面比NeRF落地更快。3D 高斯泼溅（Splatting）是用于实时辐射场渲染的 3D 高斯分布描述的一种光栅化技术，它允许实时渲染从小图像样本中学习到的逼真场景。

2023 SIG Graph BestPaper : 3D  Gaussian Splatting for Real-Time Radiance Field Rendering。

SIGGRAPH 2023最佳论文公布！山大、港大获奖！北大、腾讯光子获提名-

从点云/多面体 到场景渲染，是一个异常 经验性的过程。2001年，Splatting 是一种将3D高斯分布投射到屏幕上的渲染方式

最低0.47元/天 解锁文章
3D Gaussian Splatting 部署
qq_34717531的博客
09-03 4207
简介：3D Gaussian Splatting是一种用一组2d图像创建3d场景的方法，你只需要一个场景的视频或者一组照片就可以获得这个场景的高质量3d表示，使你可以从任何角度渲染它。它们是一类辐射场方法（如NeRF），但同时训练速度更快（同等质量）、渲染速度更快，并达到更好或相似的质量。3D Gaussian Splatting可以实现无界且完整的场景1080p分辨率下进行高质量实时（≥ 100 fps）视图合成。该论文获得的siggraph 2023最佳论文。
高斯溅射:三维重建与新视角合成的革命性技术
步子哥的博客
08-03 2557
在计算机视觉和图形学领域,三维重建和新视角合成一直是备受关注的研究热点。传统方法如摄影测量和多视角立体视觉在处理复杂场景时往往面临诸多挑战。近年来,基于深度学习的方法,如神经辐射场(NeRF),在这一领域取得了显著进展。然而,这些方法仍存在渲染速度慢、训练时间长等问题。2023年6月,Kerbl等人[1]提出的高斯溅射(3D Gaussian Splatting)技术为三维重建和新视角合成领域带来了革命性的突破。
3D高斯泼溅的崛起【三维重建】
新缸中之脑
04-08 6939
3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。
高斯泼溅（Gaussian Splatting）技术浅析
zhu_zhu_xia的博客
03-26 1212
高斯泼溅技术（Gaussian Splatting）是一种通过高斯分布的光栅化方法，实现从图像样本中实时渲染逼真场景的技术‌。它通过构建每个点的高斯分布，并优化其参数，以实现场景的细腻再现‌。高斯泼溅技术利用3D高斯点而不是传统的三角面片来表达场景，从而实现了高效的三维转换和逼真的渲染效果‌。
【小白】一文读懂3DGS高斯泼溅技术
热门推荐
weixin_47228643的博客
07-23 1万+
3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。
3D 高斯溅射 (Gaussian Splatting)技术，一种实现超写实、高效渲染的突破性技术
12-18 3539
3D 高斯溅射 (3DGS) 的核心技术是通过数百万个微小的、半透明的椭球体（即“高斯溅射”）来创建和渲染 3D 场景。与依赖多边形或复杂神经网络的传统方法不同，3DGS 利用这些溅射点来表现场景。每个溅射点包含其位置、颜色、大小和透明度的信息。当经过组合后，这些溅射点能高度还原场景的真实感。
3D Gaussian Splatting三维高斯溅射简介
weixin_42914912的博客
03-20 3761
三维高斯溅射是一种场景表达方式，基于高斯椭球小颗粒重建场景的三维结构，通过溅射的方式打到二维平面显示器实现快速的画面渲染。从应用上讲，用户输入多幅目标场景图片给模型，模型将重建3D Gaussian场景，继而能够通过溅射场景3D模型到不同相机位置的2D平面进行渲染。这里作个不严谨的比喻，椭球相当于组成人体结构的细胞，而当我们用眼睛看人体时，我们是看到表皮细胞反射的光线溅射到我们眼底视网膜上的形象。而这里的每个细胞都是椭球，这个椭球由四个重要的性质来定义：位置、协方差矩阵、不透明度。
三维重建-基于Three.js实现的3D-Gaussian-Splatting三维重建算法-附项目源码+流程教程-优质项目实战
10-17
3D-Gaussian-Splatting是一种三维重建中的算法，其核心思想是利用高斯函数在三维空间中进行点云的重建。该算法通过分析图像序列中的每个像素点，根据其亮度和分布特性，计算出相应的空间位置和扩散程度，并以高斯...
3D Gaussian Splatting的全面理解
scott198512的博客
11-16 2489
对3D GS进行了整体性的梳理与小结
论文阅读：3D Gaussian Splatting for Real-Time Radiance Field Rendering
fishfuck的博客
08-11 982
辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而，要获得高视觉质量，仍然需要训练和渲染成本高昂的神经网络，而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染，目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素，使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量，并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。
三维高斯溅射(3D Gaussian Splatting,3DGS)
2403_85515624的博客
03-14 2402
它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；
【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）
qq_45752541的博客
08-12 3248
三维高斯溅射（3DGS）在提高实时渲染性能的同时，展示了令人印象深刻的新视图合成性能。然而，它的有效性在很大程度上依赖于初始点云的质量，导致在初始化点不足的区域出现模糊和针状伪影（ needle-like artifacts）。这个问题主要是由于点云的增长条件，它只考虑了可观测视点的splats的平均梯度大小，因此对于许多只覆盖在边界内的可观测的大高斯值无法增长。为了解决这个问题，Pixel-GS将被覆盖的像素数，视为动态平均不同视角的梯度的权重，从而促进大高斯分布的增长。
一文带你入门 3D Gaussian Splatting
03-01 1万+
3D 高斯的协方差矩阵 Σ� 表示了其在空间中的形状和方向，它可以用一个对称正定矩阵来表示，也可以用一个对角矩阵和一个旋转矩阵的乘积来表示，以减少参数的数量。3D 高斯的权重 �� 表示了其在场景中的贡献，它可以用一个非负的标量来表示，也可以用一个球谐函数来表示，以增加其与视图相关的表达能力。很形象，我们可以想象一下，把一个雪球（高斯球）扔到一个玻璃盘子上，雪球散开以后，在撞击中心的雪量（对图像的贡献）最大，而随着离撞击中心距离的增加，雪量（贡献） 减少。在整个空间中，每个高斯球又是离散的。
3D高斯溅射：面向三维场景的实时渲染技术
02-11 1万+
高斯溅射技术一经推出，立刻引起学术界和工业界的广泛关注。相比传统的隐式神经散射场渲染技术，高斯溅射依托椭球空间，显性地表示多目图像的三维空间关系，其计算效率和综合性能均有较大的提升，且更容易理解。可以预见，未来2年针对高斯溅射的应用研究将会迎来爆炸式发展。通过本篇博文，我和大家来一起了解高斯溅射技术，希望对有需要的同学提供一点帮助。
3D高斯泼溅（Splatting）简明教程
新缸中之脑
11-05 1万+
3D 高斯泼溅的核心是一种光栅化技术。有描述场景的数据。在屏幕上绘制数据。然而，它不是三角形，而是高斯分布。这是一个栅格化的高斯函数，为了清晰起见，绘制了边框：位置：它所在的位置 (XYZ)协方差：如何拉伸/缩放（3x3 矩阵）颜色：它是什么颜色（RGB）Alpha：透明度如何 (α)在实践中，会同时绘制多个高斯曲线：这是三个高斯。那么 700 万高斯呢？这是每个高斯光栅化完全不透明的样子：这是对 3D 高斯分布的非常简短的概述。接下来，让我们逐步完成本文中描述的完整过程。
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
yingtu666的博客
02-23 1949
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
3D高斯泼溅原理及实践【3DGS】
新缸中之脑
06-04 6545
在 SNGULAR 中，我们决定让人们稍微了解一下这项革命性的新技术。高斯泼溅是一种革命性的 3D 重建新方法，它试图解决其他方法存在的一些问题，例如处理时间长。对于这种方法，他们的方法不是将场景表示为体积或网格，而是将世界用作 3D 画布，绘制小笔触，直到场景看起来像输入图像。这种方法的主要优点之一是它不仅可以重建静止图像，还可以重建移动场景：它从点云开始，为每个点创建一个小笔画，然后慢慢改变每个笔画的大小、位置、旋转和颜色，每次迭代都使用随机梯度下降技术优化这些参数，以减少笔画和输入图像之间的误差。
3D Guassian Splatting
weixin_45856174的博客
12-09 1857
Splatting算法是一种基于点或者体素的渲染方法，用于将三维数据投影到二维图像平面以生成图像，尤其在三维体绘制和散点云渲染中。对于点和体素的处理方法有一些差别，核心思想是一致的，即将数据点或体素解释为吸收和发射光线的粒子，通过计算这些粒子对屏幕像素的光学贡献来生成图像。作者在摘要中提到，3DGS方法实现了最先进的视图合成质量，并且可以达到实时生成速度。他们的解决方案是基于三个主要部分组成。
3D Gaussian Splatting介绍
m0_37604894的博客
04-17 1万+
3D Gaussian Splatting和NeRF一样，主要用于新视图合成。使用光栅化渲染方式，而不是NeRF的基于射线的体渲染（volumetric rendering along a ray）使用多个3D高斯球显示的表达场景训练推理速度快的同时保证质量高本质上是一个优化问题，没有使用神经网络μ\muμ进行了一定简化，我们回顾一下原始形式，若随机变量服从X∼Nμσ2X∼Nμσ2,则有如下的概率密度函数对应到多元，就是下面的形式，
3D高斯泼溅结合NeRF
最新发布
04-02
为了实现将 **3D Gaussian Splatting (3DGS)** 和 **Neural Radiance Fields (NeRF)** 技术相结合的目标，可以从两者的特性出发设计一种混合方法。以下是具体的技术分析： #### 1. 渲染方式对比 - **3DGS** 使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值