3D Gaussian Splatting三维高斯溅射简介

已于 2024-03-20 17:22:25 修改
阅读量3.5k 收藏 22
点赞数 8
文章标签： 人工智能 算法
于 2024-03-20 17:21:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42914912/article/details/136528970
版权
图1.物体的三维结构
图2.溅射渲染

原文|代码

三维高斯溅射是一种场景表达方式，基于高斯椭球小颗粒重建场景的三维结构，通过溅射的方式打到二维平面显示器实现快速的画面渲染。

从应用上讲，用户输入多幅目标场景图片给模型，模型将重建3D Gaussian场景，继而能够通过溅射场景3D模型到不同相机位置的2D平面进行渲染。

这里作个不严谨的比喻，椭球相当于组成人体结构的细胞，而当我们用眼睛看人体时，我们是看到表皮细胞反射的光线溅射到我们眼底视网膜上的形象。

而这里的每个细胞都是椭球，这个椭球由四个重要的性质来定义：位置\mu、协方差矩阵\sum、不透明度 \alpha、球谐函数（SH）系数。位置\mu决定了椭球中心在空间中的位置，协方差矩阵\sum决定了椭球的缩放旋转程度，不透明度 \alpha决定了椭球阻挡光线的程度，球谐函数（SH）系数决定了椭球表面颜色分布。

其中协方差矩阵\sum由缩放S与旋转R决定：

\sum=RSS^{T}R^{T}

在3D Gaussian实现中，初始化的缩放S参数：在莫顿码的空间中，最近邻三个点的距离均值计算而来。（cuda代码：submodules/simple-knn/simple_knn.cu）

初始化的旋转R参数：在四元数旋转表示下，每个椭球都为[1,0,0,0]，即没有任何旋转。

代码参数

标表1. 代码超参数

Bruce D
关注
高斯溅射:三维重建与新视角合成的革命性技术
步子哥的博客
08-03 2334
在计算机视觉和图形学领域,三维重建和新视角合成一直是备受关注的研究热点。传统方法如摄影测量和多视角立体视觉在处理复杂场景时往往面临诸多挑战。近年来,基于深度学习的方法,如神经辐射场(NeRF),在这一领域取得了显著进展。然而,这些方法仍存在渲染速度慢、训练时间长等问题。2023年6月,Kerbl等人[1]提出的高斯溅射(3D Gaussian Splatting)技术为三维重建和新视角合成领域带来了革命性的突破。
高斯溅射（Gaussian Splatting）技术：3D领域的新革命
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
12-20 1379
高斯溅射（Gaussian Splatting），简称Splats，是一种先进的3D建模和可视化技术。它通过将图像表示为微小的椭圆形斑点，即“高斯斑点”，来构建3D场景。这些斑点可以拉伸、压缩，并赋予颜色和透明度，最终融合形成连续的表面。高斯溅射的核心在于使用3D高斯函数作为场景的基本元素，通过优化这些高斯函数的参数来实现高质量的3D场景重建和新视角合成。
三维高斯溅射(3D Gaussian Splatting,3DGS)
最新发布
2403_85515624的博客
03-14 1561
它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；
高斯溅射融合之路（一）- webgl渲染3d gaussian splatting
shanhaijing_bi的博客
04-19 2219
之前已经写了一个GIS融合系列。其实CesiumJS的整合有相当的难度，同时也有很多方面的工作，很难在几篇文章内写完，整个山海鲸团队也是投入了接近两年的时间，才把周边整套工具链进行了完善，后续有新的内容也会持续分享
3D高斯泼溅的崛起【三维重建】
新缸中之脑
04-08 6478
3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。
3D高斯溅射：实时渲染新纪元
weixin_57060548的博客
03-06 847
3D Gaussian Splatting 是一种创新的 3D 场景实时渲染技术，通过生成稀疏点云并优化为 3D 场景，能够高效生成高质量图像。其核心原理是利用各向异性的 3D 高斯分布表示场景，通过 α-blending 技术进行渲染，无需深度学习模型，计算效率显著高于 NeRFs。该技术通过自适应密度调整和优化算法，能够生成细节丰富的 3D 模型，适用于虚拟现实、游戏开发、影视制作及文化遗产保护等领域。此外，通过参数调整和后处理，可以有效控制内存占用并提升模型质量。结合 Spline 等工具，3D Ga
3D 高斯溅射 (Gaussian Splatting)技术，一种实现超写实、高效渲染的突破性技术
12-18 3129
3D 高斯溅射 (3DGS) 的核心技术是通过数百万个微小的、半透明的椭球体（即“高斯溅射”）来创建和渲染 3D 场景。与依赖多边形或复杂神经网络的传统方法不同，3DGS 利用这些溅射点来表现场景。每个溅射点包含其位置、颜色、大小和透明度的信息。当经过组合后，这些溅射点能高度还原场景的真实感。
3D高斯溅射：面向三维场景的实时渲染技术
02-11 1万+
高斯溅射技术一经推出，立刻引起学术界和工业界的广泛关注。相比传统的隐式神经散射场渲染技术，高斯溅射依托椭球空间，显性地表示多目图像的三维空间关系，其计算效率和综合性能均有较大的提升，且更容易理解。可以预见，未来2年针对高斯溅射的应用研究将会迎来爆炸式发展。通过本篇博文，我和大家来一起了解高斯溅射技术，希望对有需要的同学提供一点帮助。
【小白】一文读懂3DGS高斯泼溅技术
热门推荐
weixin_47228643的博客
07-23 1万+
3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。
3D Gaussian Splatting介绍
m0_37604894的博客
04-17 1万+
3D Gaussian Splatting和NeRF一样，主要用于新视图合成。使用光栅化渲染方式，而不是NeRF的基于射线的体渲染（volumetric rendering along a ray）使用多个3D高斯球显示的表达场景训练推理速度快的同时保证质量高本质上是一个优化问题，没有使用神经网络μ\muμ进行了一定简化，我们回顾一下原始形式，若随机变量服从X∼Nμσ2X∼Nμσ2,则有如下的概率密度函数对应到多元，就是下面的形式，
3D Gaussian Splatting 部署
qq_34717531的博客
09-03 3875
简介：3D Gaussian Splatting是一种用一组2d图像创建3d场景的方法，你只需要一个场景的视频或者一组照片就可以获得这个场景的高质量3d表示，使你可以从任何角度渲染它。它们是一类辐射场方法（如NeRF），但同时训练速度更快（同等质量）、渲染速度更快，并达到更好或相似的质量。3D Gaussian Splatting可以实现无界且完整的场景1080p分辨率下进行高质量实时（≥ 100 fps）视图合成。该论文获得的siggraph 2023最佳论文。
3D 高斯泼溅(Gaussian Splatting)-3D重建的3DGS时代
wishchinYang的专栏
05-17 3934
3D重建自从NeRfs出现之后又热闹了一次，3D GS技术一时间燃变了整个三维重建和Slam领域，几个月不见，沧海桑田。3D 高斯泼溅（Splatting）是，它允许实时渲染从小图像样本中学习到的逼真场景。从点云/多面体 到场景渲染，是一个异常 经验性的过程。SIGGRAPH 2023论文奖公布，山大、港大获奖，北大、腾讯光子获提名 - 知乎机器之心报道， 编辑：蛋酱、小舟。近日，计算机图形学及互交技术顶会 SIGGRAPH 2023 公布了今年的技术论文奖项。
3D Gaussian Splatting 原理跟代码 debug模式讲解
weixin_37481069的博客
06-19 2679
3d gaussian splatting + smpl 系列AI课程 代码讲解
3D高斯泼溅（Splatting）简明教程
新缸中之脑
11-05 9529
3D 高斯泼溅的核心是一种光栅化技术。有描述场景的数据。在屏幕上绘制数据。然而，它不是三角形，而是高斯分布。这是一个栅格化的高斯函数，为了清晰起见，绘制了边框：位置：它所在的位置 (XYZ)协方差：如何拉伸/缩放（3x3 矩阵）颜色：它是什么颜色（RGB）Alpha：透明度如何 (α)在实践中，会同时绘制多个高斯曲线：这是三个高斯。那么 700 万高斯呢？这是每个高斯光栅化完全不透明的样子：这是对 3D 高斯分布的非常简短的概述。接下来，让我们逐步完成本文中描述的完整过程。
3D高斯泼溅原理及实践【3DGS】
新缸中之脑
06-04 6152
在 SNGULAR 中，我们决定让人们稍微了解一下这项革命性的新技术。高斯泼溅是一种革命性的 3D 重建新方法，它试图解决其他方法存在的一些问题，例如处理时间长。对于这种方法，他们的方法不是将场景表示为体积或网格，而是将世界用作 3D 画布，绘制小笔触，直到场景看起来像输入图像。这种方法的主要优点之一是它不仅可以重建静止图像，还可以重建移动场景：它从点云开始，为每个点创建一个小笔画，然后慢慢改变每个笔画的大小、位置、旋转和颜色，每次迭代都使用随机梯度下降技术优化这些参数，以减少笔画和输入图像之间的误差。
3D Guassian Splatting
weixin_45856174的博客
12-09 1806
Splatting算法是一种基于点或者体素的渲染方法，用于将三维数据投影到二维图像平面以生成图像，尤其在三维体绘制和散点云渲染中。对于点和体素的处理方法有一些差别，核心思想是一致的，即将数据点或体素解释为吸收和发射光线的粒子，通过计算这些粒子对屏幕像素的光学贡献来生成图像。作者在摘要中提到，3DGS方法实现了最先进的视图合成质量，并且可以达到实时生成速度。他们的解决方案是基于三个主要部分组成。
3D Gaussian Splatting
whaosoft143ai的博客
01-08 1895
本文转载于大佬~~这是3D Gaussian Splatting综述, 先回顾3D Gaussian的原理和应用，借着全面比较了3D GS在静态场景、动态场景和驾驶场景中的性能，最后为未来指明了研究方向！三维 Gaussian splatting（3DGS）是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新方法的特点是使用了数百万个3D高斯，这与神经辐射场（NeRF）方法有很大的不同，后者主要使用隐式的基于坐标的模型将空间坐标映射到像素值。3D GS凭借其明确的场景表示和可微分的渲染算法，
Paper Reading — 3D Gaussian Splatting
tjy792864625的博客
05-20 1689
3D gaussian splatting论文解析
3D高斯泼溅
03-12
<think>好的，用户想了解如何实现3D高斯泼溅效果。首先，我需要明确用户的需求。3D高斯泼溅效果可能指的是在三维空间中模拟类似液体飞溅的效果，使用高斯分布来渲染粒子，使其看起来更自然。这可能用于游戏特效、科学可视化或动画制作。 接下来，我需要回忆相关的图形学知识。高斯泼溅通常涉及粒子系统，每个粒子的渲染可能使用高斯核函数来控制透明度和扩散范围。在三维空间中，需要处理粒子的位置、大小、透明度以及可能的动态变化，比如速度、衰减等。 然后，考虑实现步骤。可能需要以下步骤：初始化粒子系统，定义粒子属性，更新粒子状态（如位置、大小、透明度），使用着色器进行渲染，以及优化性能。同时，用户可能需要具体的代码示例或教程参考，但根据引用内容，用户提供的引用似乎与游戏开发框架相关，比如Unreal Engine的GameplayEffects和AbilitySystemComponent的改动，但不太直接相关。不过，引用3提到的RMI命令对象可能与分布式计算有关，可能不相关，但需要确认。 接下来，我需要确保回答符合用户的要求：结构清晰，分步解决，使用正确的中文和LaTeX格式。同时，生成相关问题，并正确添加引用标识。需要检查是否有引用内容可以关联，但用户提供的引用似乎更多关于游戏框架的更新，可能与3D高斯泼溅的实现关联不大，但可能在性能优化或粒子系统部分提到相关点，比如客户端预测或粒子效果优化，可能需要引用[^1]或[^2]。 然后，考虑用户可能的背景。用户可能有一定的编程和图形学基础，但需要具体的实现指导。可能需要推荐使用现有的引擎（如Unity或Unreal）的粒子系统，或者用WebGL/Three.js实现。同时，代码示例可能需要用Python或C++，但根据用户提供的示例中的Python代码，可能倾向于提供Python示例，但实际3D渲染可能更多使用GLSL或C++。需要权衡。 另外，需要确保LaTeX格式正确，例如数学公式用$...$或$$...$$。例如，高斯函数可以写成$G(x,y,z) = \frac{1}{(2\pi)^{3/2}\sigma^3}e^{-\frac{(x^2+y^2+z^2)}{2\sigma^2}}$。 然后，思考如何分步骤讲解：粒子系统初始化、高斯渲染、动态控制、着色器编写等。每个步骤需要简明扼要，并提供关键代码片段，比如使用Three.js或Unity的示例。 在生成相关问题时，需要考虑用户可能进一步的问题，比如性能优化、不同引擎的实现差异、数学原理的深入等。 最后，检查是否符合所有系统级指令，尤其是引用添加是否正确。虽然用户提供的引用可能与主题关联不大，但可能在优化或粒子效果部分提及，比如引用提到客户端预测对效果时间的处理，可能与粒子生命周期管理有关，可以适当关联。</think>### 3D高斯泼溅效果实现原理 3D高斯泼溅效果的核心是通过粒子系统模拟流体或能量扩散的动态过程，使用高斯函数$G(x,y,z) = \frac{1}{(2\pi)^{3/2}\sigma^3}e^{-\frac{(x^2+y^2+z^2)}{2\sigma^2}}$控制粒子透明度和扩散范围。以下是实现步骤： #### 1. 粒子系统初始化 - **粒子属性**：每个粒子包含位置$P(x,y,z)$、速度$V(v_x,v_y,v_z)$、生命周期$T$、初始大小$S$和透明度$\alpha$ - **发射器设计**：定义发射位置、方向范围和初始速度 ```python class Particle: def __init__(self): self.position = Vector3() self.velocity = Vector3() self.lifetime = 5.0 # 单位：秒 self.size = 1.0 self.alpha = 1.0 ``` #### 2. 高斯渲染计算 在片段着色器中实现高斯衰减（以GLSL为例）： ```glsl float gaussian(vec3 pos, vec3 center, float sigma) { float r = distance(pos, center); return exp(-r*r/(2.0*sigma*sigma)); } void main() { float alpha = gaussian(fragPos, particleCenter, 0.5); gl_FragColor = vec4(color, alpha * baseAlpha); } ``` #### 3. 动态控制优化 - **速度衰减**：$$V(t) = V_0 \cdot e^{-kt}$$ - **大小渐变**：$$S(t) = S_0 \cdot (1 - \frac{t}{T})^2$$ - **粒子碰撞**：采用Signed Distance Fields (SDF)检测表面交互 #### 4. 性能优化技巧 - 使用GPU Instancing批量渲染粒子 - 通过LOD系统动态调整粒子密度 - 采用空间分区算法加速碰撞检测 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值