3D Gaussian Splatting的cuda code总结

小丸子_daydayup

已于 2023-12-21 20:27:39 修改

阅读量2k

点赞数 14

分类专栏：论文学习文章标签： 3d

于 2023-12-21 20:24:12 首次发布

本文链接：https://blog.csdn.net/m0_66690787/article/details/135136121

版权

总结视频来源：https://www.youtube.com/watch?v=1buFrKUaqwM

总结视频来源作者：AI葵

3D高斯分布投影到图像上，每个像素投影到该像素上的高斯数不同，因此不能用pytorch并行化处理

一、前向传播

前向传播

计算投影出来圆圈的半径

计算圆圈覆盖的像素数（把画面分成了很多个方块，记录圆与哪些方块相连）

计算每个高斯的前后顺序（alpha合成）

计算每个像素的颜色

1. preprocessCUDA

diff-gaussian-rasterization/cuda_rasterizer/forward.cu

预处理CUDA preprocessCUDA函数用于解决第一个和

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小丸子_daydayup

关注关注

14
点赞
踩
27

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【ACM_2023】3D Gaussian Splatting for Real-Time Radiance Field Rendering

zik的博客

06-28

2116

【Project】引入了三个关键要素，能够在保持有竞争力的训练时间的同时实现最先进的视觉质量，并且重要的是允许以 1080p 分辨率进行高质量实时（≥ 30 fps）新颖的视图合成。首先，从相机校准期间产生的稀疏点开始，用 3D 高斯表示场景，保留连续体积辐射场的所需属性以进行场景优化，同时避免在空白空间中进行不必要的计算；其次，对 3D 高斯进行交错优化/密度控制，特别是优化各向异性协方差以实现场景的准确表示；第三，开发了一种快速可见性感知渲染算法，该算法支持各向异性泼溅，既加速训练又允许实时渲染。

高斯泼溅的全面概述

gongdiwudu的专栏

12-30

1万+

高斯泼溅是一种用于表示 3D 场景和渲染新颖视图的方法，在“实时辐射场渲染的 3D 高斯泼溅”中引入。

1 条评论您还未登录，请先登录后发表或查看评论

3d gaussian splatting核心代码注释（CUDA部分）

xxxrc5的博客

01-19

5009

rasterizer_impl.cu： // 查找最高有效位(most significant bit），输入变量n表示tile编号最大值x、y的乘积 uint32_t getHigherMsb(uint32_t n) { uint32_t msb = sizeof(n) * 4; //4*4=16 uint32_t step = msb; while (step > 1) { step /= 2;

3D Gaussian Spaltting代码复现全流程与代码结构解读

weixin_71780622的博客

01-09

1万+

文章详细介绍了3D Gaussian splatting的代码复现流程（在ubuntu18.04上训练模型，在windows10上使用SIBR_viewers查看），并对论文以及代码做了简要概述。

编译diff_gaussian_rasterization报错

mengxinaaa的博客

02-24

211

修改文件yvals_core.h。

学习笔记之——3D Gaussian Splatting源码解读

热门推荐

gwpscut的博客

01-10

4万+

高斯模型的初始化，初始化过程中加载或定义了各种相关的属性使用的球谐阶数、最大球谐阶数、各种张量（_xyz等）、优化器和其他参数。self.active_sh_degree = 0 #球谐阶数self.max_sh_degree = sh_degree #最大球谐阶数# 存储不同信息的张量（tensor）self._xyz = torch.empty(0) #空间位置self._scaling = torch.empty(0) #椭球的形状尺度。

3D Gaussian Splatting 原理跟代码 debug模式讲解

weixin_37481069的博客

06-19

2712

3d gaussian splatting + smpl 系列AI课程代码讲解

2D Gaussian Splatting 文章+代码串读（无敌详细的疯狂解读）

CV_Autobot的博客

07-22

5690

作者|Yuhan Chen 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/708372232点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『三维重建』技术交流群本文只做学术分享，如有侵权，联系删文开门见山首先开门见山，为什么我非常关注2DGS而不是3DGS。3D Gau...

【三维重建】DreamGaussian：高斯splatting的单视图3D内容生成（原理+代码）

qq_45752541的博客

10-19

1万+

常用的3D内容创建方式，主要是利用基于优化的通过分数蒸馏采样（SDS）进行的3D生成。该方法每个样本优化较慢，很难实际应用。本文提出了DreamGaussian，兼顾效率和质量：设计一个生成的三维高斯splitting 模型，并在 uv 空间中配合网格提取和纹理细化。与NeRF中使用的 occupancy pruning 相比，三维高斯分布的渐进致密化收敛速度明显更快。为了进一步提高纹理质量，促进下游应用，我们引入了一种高效的算法，将三维高斯矩阵转换为纹理网格并应用一个微调阶段来细化细节。

Ubuntu22.04配置3D gaussian splatting

邹思远的博客

12-18

1261

这篇博客提供了3D gaussian splatting在新安装Ubuntu上的配置过程。

3D Gaussian Splatting Linux端部署指南（含Linux可视化）

serapan的博客

02-21

2万+

B站上看过windows版本的部署方式，可惜我的电脑没有GPU，linux服务器才有，于是根据github官网探索3D Gaussian Splatting的Linux端部署方式，记录一下。

3D Gaussian Splatting Windows安装

weixin_41012767的博客

06-17

1056

1.下载源码2.安装cuda3.安装COLMAP下载完成需要添加环境变量例如然后就可以在终端打开4.安装ffmpeg下载完成之后解压，同样加入环境变量5.安装miniconda安装完成之后进入目录运行。

CUDA实现图像的高斯滤波（opencv实现）

tangbenjun的博客

09-18

8496

高斯滤波简介：高斯滤波是通过对输入数组的每个点与输入的高斯滤波模板执行卷积计算然后将这些结果一块组成了滤波后的输出数组，通俗的讲就是高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板

（三维重建学习）3D Gaussian Splatting & Instant-NGP环境配置

Wu_JingYi0829的博客

12-07

5257

我对比了一下官方fox文件夹里给的transforms.json写的图片路径，发现，我保存的路径有问题（但我还不知道是哪段代码导致存储的是这个路径）我在conda环境中使用的是python3.8，cuda用的是11.8版本，cudann用的是8.9.6.50。

【3DGS】Ubuntu20.04系统搭建3D Gaussian Splatting及可视化环境

weixin_48400654的博客

04-19

1万+

Ubuntu20.04系统搭建3D Gaussian Splatting及可视化环境

【计算机视觉】Gaussian Splatting源码解读补充（三）

qaqwqaqwq的博客

03-23

5972

Gaussian Splatting源码解读补充的第三部分，包括反向传播。

3D Gaussian Splatting学习记录11.3

weixin_46933478的博客

11-04

1550

参考了。

3D gaussian splatting 代码阅读(三)：与pytorch的联合

w1130466404的博客

02-21

2279

这里就是把cuda实现的forward和backward用包了一下，同时输入变成了torch::Tensor，同时也做了一些把torch::Tensor转换成cuda显存指针操作。● scales = None：3D gaussian的eigen value或者轴长，只有cov3D_precomp不为空，他才可以为空。● rotations = None：3D gaussian的旋转，只有cov3D_precomp不为空，他才可以为空。forward的同时，保存了中间变量用于后面backward。

3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂

qq_35831906的博客

10-30

2211

3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂：根据梯度对3D gaussian 进行增加或删减（2）删除不符合要求的3D高斯分布（3）删除不符合要求的3D高斯分布在优化器中对应的参数（4）对那些梯度超过一定阈值且尺度小于一定阈值的3D高斯进行克隆操作。（5）将新生成的3D高斯分布的属性添加到模型的参数中。（6）将新的参数张量添加到优化器的参数组中（7）根据旋转四元数构建旋转矩阵。

3d高斯溅射代码数据文件获取

最新发布

03-21

### 3D Gaussian Splatting 的实现与数据下载 #### 实现概述 3D Gaussian Splatting 是一种高效的显式辐射场技术，由 Kerbl 等人在 2023 年提出[^3]。该方法利用可微分的 3D 高斯形状基元来参数化辐射场，从而实现实时的新视角渲染。相比于传统的方法（如 NeRF），它通过基于瓦片的光栅化器显著提高了效率并减少了计算开销。为了支持研究者和开发者的进一步探索，官方及相关社区提供了多种资源供访问： --- #### 官方代码库官方 GitHub 存储库托管了完整的源码以及相关文档： - **GitHub 地址**: [https://github.com/tancik/3d-gaussian-splatting](https://github.com/tancik/3d-gaussian-splatting)[^1] 此存储库包含了核心算法的 CUDA 加速版本及其 Python 接口。具体来说，代码结构如下： 1. `gaussian_splatting.py`: 主要负责初始化和优化高斯分布。 2. `renderer.cu`: 提供 GPU 上的快速光线追踪逻辑。 3. 数据预处理脚本：帮助准备输入图像序列以便后续训练。对于希望深入理解其实现细节的人群而言，阅读上述文件尤为重要。 --- #### 数据集获取除了基础代码外，还需要适当的数据集来进行实验验证。推荐以下几个公开可用选项： 1. **Synthetic Dataset (Blender)**: 这些合成场景非常适合测试模型性能边界条件下的表现情况。可以从以下链接找到相关内容:[https://drive.google.com/drive/folders/blablabla][^2]. 注意替换实际路径前缀部分以指向真实位置。 2. **Real-world Captures via COLMAP**: 如果倾向于自然环境拍摄，则需借助COLMAP工具重建稀疏点云作为起点。之后再转换为目标格式喂给网络学习过程使用即可完成整个流程闭环操作步骤省略此处不做赘述仅提一下思路方向而已啦！ --- #### Cuda Code 结构说明根据已知信息整理得到关于如何组织CUDA内核调用方式的一个简化版描述如下所示: ```cpp __global__ void renderGaussians(const float* means, const float* covariances, unsigned int num_gaussians_per_tile[], ...) { // 每个线程块对应一个 tile int tid = blockIdx.x * blockDim.x + threadIdx.x; if(tid >= total_tiles) return; auto start_idx = cumsum_num_gaussians[tid]; auto end_idx = cumsum_num_gaussians[tid+1]; for(auto i=start_idx;i<end_idx;++i){ processSingleGaussian(means[i],covariances[i]); } } ``` 以上片段展示了当面对大量分布在不同 tiles 中的对象集合时的一种常见做法——即先按索引范围划分工作负载分配至各个 SM 单元上执行独立任务单元串行迭代直至结束为止。 ---