3D高斯泼溅（Gaussian Splatting）通俗解释

计算机视觉每日论文

已于 2024-02-22 17:45:37 修改

阅读量4.1k

点赞数 12

文章标签：人工智能计算机视觉 ai 深度学习

于 2024-02-22 17:39:21 首次发布

本文链接：https://blog.csdn.net/u012854516/article/details/51152226

版权

项目：3D Gaussian Splatting for Real-Time Radiance Field Rendering

代码：GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"

功能：拍摄一段视频或多张图片，可以重建3维场景并能实时渲染。

优点：质量高、速度快。

缺点：占用存储和显存大。

原理：输入一组静态图片，由sfm得到稀疏点云，从稀疏点云初始化成3D高斯函数集合，由于3D到2D投影的模糊性，几何体可能会被错误地放置，因此需要训练优化得到更准确的3D高斯函数，最后使用GPU快速的光栅化器渲染结果。

训练步骤：

使用可微分高斯光栅化将高斯光栅化为图像（稍后详细介绍）
根据光栅化图像和地面真实图像之间的差异计算损失
根据损失调整高斯参数
应用自动致密化和修剪

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

计算机视觉每日论文

关注关注

12
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

高斯泼溅的全面概述

gongdiwudu的专栏

12-30

1万+

高斯泼溅是一种用于表示 3D 场景和渲染新颖视图的方法，在“实时辐射场渲染的 3D 高斯泼溅”中引入。

3D Gaussian Splatting 部署

qq_34717531的博客

09-03

3856

简介：3D Gaussian Splatting是一种用一组2d图像创建3d场景的方法，你只需要一个场景的视频或者一组照片就可以获得这个场景的高质量3d表示，使你可以从任何角度渲染它。它们是一类辐射场方法（如NeRF），但同时训练速度更快（同等质量）、渲染速度更快，并达到更好或相似的质量。3D Gaussian Splatting可以实现无界且完整的场景1080p分辨率下进行高质量实时（≥ 100 fps）视图合成。该论文获得的siggraph 2023最佳论文。

参与评论您还未登录，请先登录后发表或查看评论

【视觉三维重建】【论文笔记】高清3D高斯泼溅（Deblurring 3D Gaussian Splatting）

持之以恒

03-10

1495

比经典高斯泼溅更佳高精

3D Gaussian Splatting三维高斯溅射简介

weixin_42914912的博客

03-20

3547

三维高斯溅射是一种场景表达方式，基于高斯椭球小颗粒重建场景的三维结构，通过溅射的方式打到二维平面显示器实现快速的画面渲染。从应用上讲，用户输入多幅目标场景图片给模型，模型将重建3D Gaussian场景，继而能够通过溅射场景3D模型到不同相机位置的2D平面进行渲染。这里作个不严谨的比喻，椭球相当于组成人体结构的细胞，而当我们用眼睛看人体时，我们是看到表皮细胞反射的光线溅射到我们眼底视网膜上的形象。而这里的每个细胞都是椭球，这个椭球由四个重要的性质来定义：位置、协方差矩阵、不透明度。

三维高斯溅射(3D Gaussian Splatting,3DGS)

热门推荐

qq_45752541的博客

09-16

4万+

Gaussian Splatting引入了三个关键元素，在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在1080p分辨率下实现高质量的实时（≥30 fps）的新视图合成。

3D 高斯泼溅(Gaussian Splatting)-3D重建的3DGS时代

wishchinYang的专栏

05-17

3927

3D重建自从NeRfs出现之后又热闹了一次，3D GS技术一时间燃变了整个三维重建和Slam领域，几个月不见，沧海桑田。3D 高斯泼溅（Splatting）是，它允许实时渲染从小图像样本中学习到的逼真场景。从点云/多面体到场景渲染，是一个异常经验性的过程。SIGGRAPH 2023论文奖公布，山大、港大获奖，北大、腾讯光子获提名 - 知乎机器之心报道，编辑：蛋酱、小舟。近日，计算机图形学及互交技术顶会 SIGGRAPH 2023 公布了今年的技术论文奖项。

【小白】一文读懂3DGS高斯泼溅技术

weixin_47228643的博客

07-23

1万+

3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。

3D高斯泼溅（Splatting）简明教程

新缸中之脑

11-05

9502

3D 高斯泼溅的核心是一种光栅化技术。有描述场景的数据。在屏幕上绘制数据。然而，它不是三角形，而是高斯分布。这是一个栅格化的高斯函数，为了清晰起见，绘制了边框：位置：它所在的位置 (XYZ)协方差：如何拉伸/缩放（3x3 矩阵）颜色：它是什么颜色（RGB）Alpha：透明度如何 (α)在实践中，会同时绘制多个高斯曲线：这是三个高斯。那么 700 万高斯呢？这是每个高斯光栅化完全不透明的样子：这是对 3D 高斯分布的非常简短的概述。接下来，让我们逐步完成本文中描述的完整过程。

3D高斯溅射：面向三维场景的实时渲染技术

02-11

1万+

高斯溅射技术一经推出，立刻引起学术界和工业界的广泛关注。相比传统的隐式神经散射场渲染技术，高斯溅射依托椭球空间，显性地表示多目图像的三维空间关系，其计算效率和综合性能均有较大的提升，且更容易理解。可以预见，未来2年针对高斯溅射的应用研究将会迎来爆炸式发展。通过本篇博文，我和大家来一起了解高斯溅射技术，希望对有需要的同学提供一点帮助。

3D Gaussian Splatting技术原理

鬼马行天的博客

04-18

1339

是一种用于体积渲染的技术，特别适用于科学和医学可视化。这种技术使得用户能够以一种直观的方式查看和分析三维数据集，如医学成像数据（MRI、CT扫描）或科学模拟数据。

3D Gaussian Splatting的全面理解

scott198512的博客

11-16

2351

对3D GS进行了整体性的梳理与小结

【三维重建】InstantSplat：稀疏视角的无SfM高斯泼溅 (3D Gaussian Splatting)

qq_45752541的博客

08-12

2687

InstantSplat 旨在在几秒钟内从稀疏视图，未设置的图像重建场景。我们的方法利用多视点立体（MVS）的能力，粗场景初始化，并提出了一个基于梯度的高斯属性和相机参数的联合优化，以自监督的方式。与以前性能最好的无姿态方法[5，10]相比，我们将所需的视图数量从数百个[5，10]减少到几个，从而使大规模3D建模仅具有最少数量的图像和无姿态视图

3D高斯泼溅的崛起【三维重建】

新缸中之脑

04-08

6452

3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。

3D高斯泼溅原理及实践【3DGS】

新缸中之脑

06-04

6121

在 SNGULAR 中，我们决定让人们稍微了解一下这项革命性的新技术。高斯泼溅是一种革命性的 3D 重建新方法，它试图解决其他方法存在的一些问题，例如处理时间长。对于这种方法，他们的方法不是将场景表示为体积或网格，而是将世界用作 3D 画布，绘制小笔触，直到场景看起来像输入图像。这种方法的主要优点之一是它不仅可以重建静止图像，还可以重建移动场景：它从点云开始，为每个点创建一个小笔画，然后慢慢改变每个笔画的大小、位置、旋转和颜色，每次迭代都使用随机梯度下降技术优化这些参数，以减少笔画和输入图像之间的误差。

高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命

yingtu666的博客

02-23

1124

高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命

论文翻译：3D Gaussian Splatting for Real-Time Radiance Field Rendering

旭先森

09-01

1791

3DGS论文翻译

3d gaussian splatting介绍整理

蓝羽飞鸟的博客

01-25

3757

3DGS相关概念，知识点整理

一文带你入门 3D Gaussian Splatting

03-01

1万+

3D 高斯的协方差矩阵 Σ� 表示了其在空间中的形状和方向，它可以用一个对称正定矩阵来表示，也可以用一个对角矩阵和一个旋转矩阵的乘积来表示，以减少参数的数量。3D 高斯的权重 �� 表示了其在场景中的贡献，它可以用一个非负的标量来表示，也可以用一个球谐函数来表示，以增加其与视图相关的表达能力。很形象，我们可以想象一下，把一个雪球（高斯球）扔到一个玻璃盘子上，雪球散开以后，在撞击中心的雪量（对图像的贡献）最大，而随着离撞击中心距离的增加，雪量（贡献）减少。在整个空间中，每个高斯球又是离散的。

3d高斯泼溅技术解读

01-17

### 3D Gaussian Splatting 技术解析 #### 工作原理 3D Gaussian Splatting 是一种用于表示和渲染复杂 3D 场景的技术，其核心在于利用高斯分布来描述场景中的点云数据。每个点不仅具有位置信息，还携带了颜色和其他属性的信息，并通过高斯函数建模这些特征的空间分布。具体来说，该方法将每一个观测到的点视为一个带有协方差矩阵的多维正态分布中心[^1]。这种处理方式使得即使是在稀疏采样的情况下也能很好地近似物体表面细节。当需要从不同视角观察这个虚拟环境时，则通过对所有可见的高斯体素进行加权求和操作完成图像合成过程，其中权重取决于各高斯成分对于当前像素贡献度大小。为了提高效率并支持实时应用，算法引入了一系列优化措施： - **快速可微光栅化**：允许高效计算每帧所需绘制哪些部分及其对应的颜色值； - **α-混合（Alpha Blending）**：解决透明效果呈现问题； - **交叉优化**：同时调整多个参数以获得最佳视觉质量的同时保持较低计算成本； - **自适应控制**：动态改变分辨率或其他设置以便更好地匹配硬件性能特点或特定任务需求[^2]。 #### 应用场景这项技术因其灵活性和高性能而广泛应用于以下几个领域： - **增强现实(AR)** 和虚拟现实(VR)** ：提供逼真的沉浸式体验，特别是在涉及大规模户外场景的情况下表现尤为出色； - **自动驾驶汽车感知系统**：帮助车辆更精确地理解和预测周围环境变化情况； - **机器人导航与地图构建(SLAM)**：实现更加鲁棒的地图创建及定位功能； - **影视特效制作**：为电影工业带来前所未有的创作自由度，能够轻松模拟烟雾、火焰等难以捕捉的效果； - **医学成像分析**：辅助医生进行手术规划或是疾病诊断等工作。 ```python import numpy as np from scipy.stats import multivariate_normal def render_gaussian_splatting(points, covariances, colors, camera_pose): """ 渲染给定的一组带色彩信息的3D高斯点参数: points (list of tuples): 各个高斯点的位置坐标列表 [(x,y,z)] covariances (list of matrices): 对应于points中各个点位处的协方差矩阵列表 colors (list of tuples): RGB颜色向量列表[(r,g,b)] camera_pose (tuple): 当前摄像机姿态(x,y,z,qw,qx,qy,qz)，最后四个分量代表四元数形式的方向返回: rendered_image (numpy array): 最终生成的画面数组 """ # 假设这里实现了完整的光线追踪逻辑... pass ```