3D Gaussian Splatting的cuda code总结

已于 2023-12-21 20:27:39 修改
阅读量1.1k 收藏 21
点赞数 13
分类专栏： 论文学习 文章标签： 3d
于 2023-12-21 20:24:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66690787/article/details/135136121
版权

总结视频来源：https://www.youtube.com/watch?v=1buFrKUaqwM

总结视频来源作者：AI葵

3D高斯分布投影到图像上，每个像素投影到该像素上的高斯数不同，因此不能用pytorch并行化处理

一、前向传播

前向传播

  1. 计算投影出来圆圈的半径
  2. 计算圆圈覆盖的像素数（把画面分成了很多个方块，记录圆与哪些方块相连）
  3. 计算每个高斯的前后顺序（alpha合成）
  4. 计算每个像素的颜色

1. preprocessCUDA

diff-gaussian-rasterization/cuda_rasterizer/forward.cu

预处理CUDA preprocessCUDA函数用于解决第一个和第二个问题 

将3D投影到投影上

 计算三个轴的长度的过程

计算投影到二维后椭圆的样子

 计算长轴的半径

计算高斯的半径

有了圆心和半径16×16瓦片，计算圆覆盖的像素数

 保存后面所有用到的值

tilesTouch保存总共覆盖了几个 tile

2. rasterizer_impl.cu

解决第三个问题

将tile+高斯想象成一个组合，按照tile的数量，先排列。如果是同一个tile，按照每个高斯的顺序排列

一直到这里 

3. renderCUDA

解决第四个问题

一张图片分割成很多图块，图块中每个线程负责一个像素，计算颜色

把每个tile当时一个块，每个块里的线程其实就是一个图块中的一个像素

共享内存

更新变量 

把每个像素点对高斯的中心做一个距离计算，应用在高斯分布的概率计算中得到点的alpha

如果alpha<0.0001就会结束这个计算 

alpha合成

把颜色写在正确的位置

小丸子_daydayup
关注
  • 13
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
三维重建-3D Gaussian Splatting
03-07
三维重建-3D Gaussian Splatting
gaussian-splatting.zip
05-27
3DGS完整代码，附iphone手拍可重建数据集。 包含使用教程： 预处理：运行pre_data.py脚本 数据：预处理【python convert.py -s data】 训练：python train.py -s 【python train.py -s data】 ...
3d gaussian splatting核心代码注释（CUDA部分）
xxxrc5的博客
01-19 2256
rasterizer_impl.cu： // 查找最高有效位(most significant bit），输入变量n表示tile编号最大值x、y的乘积 uint32_t getHigherMsb(uint32_t n) { uint32_t msb = sizeof(n) * 4; //4*4=16 uint32_t step = msb; while (step > 1) { step /= 2;
3D gaussian splatting 代码阅读(三)：与pytorch的联合
w1130466404的博客
02-21 1494
这里就是把cuda实现的forward和backward用包了一下，同时输入变成了torch::Tensor，同时也做了一些把torch::Tensor转换成cuda显存指针操作。● scales = None：3D gaussian的eigen value或者轴长，只有cov3D_precomp不为空，他才可以为空。● rotations = None：3D gaussian的旋转，只有cov3D_precomp不为空，他才可以为空。forward的同时，保存了中间变量用于后面backward。
3D Gaussian Spaltting代码复现全流程与代码结构解读
weixin_71780622的博客
01-09 8622
文章详细介绍了3D Gaussian splatting的代码复现流程（在ubuntu18.04上训练模型，在windows10上使用SIBR_viewers查看），并对论文以及代码做了简要概述。
学习笔记之——3D Gaussian Splatting源码解读
热门推荐
gwpscut的博客
01-10 1万+
高斯模型的初始化，初始化过程中加载或定义了各种相关的属性使用的球谐阶数、最大球谐阶数、各种张量（_xyz等）、优化器和其他参数。self.active_sh_degree = 0 #球谐阶数self.max_sh_degree = sh_degree #最大球谐阶数# 存储不同信息的张量（tensor）self._xyz = torch.empty(0) #空间位置self._scaling = torch.empty(0) #椭球的形状尺度。
【三维重建】DreamGaussian：高斯splatting的单视图3D内容生成（原理+代码）
qq_45752541的博客
10-19 8076
常用的3D内容创建方式，主要是利用基于优化的通过分数蒸馏采样（SDS）进行的3D生成。该方法每个样本优化较慢，很难实际应用。本文提出了DreamGaussian，兼顾效率和质量：设计一个生成的三维高斯splitting 模型，并在 uv 空间中配合网格提取和纹理细化。与NeRF中使用的 occupancy pruning 相比，三维高斯分布的渐进致密化收敛速度明显更快。为了进一步提高纹理质量，促进下游应用，我们引入了一种高效的算法，将三维高斯矩阵转换为纹理网格并应用一个微调阶段来细化细节。
（NeRF学习）3D Gaussian Splatting & Instant-NGP环境配置
Wu_JingYi0829的博客
12-07 3702
我对比了一下官方fox文件夹里给的transforms.json写的图片路径，发现，我保存的路径有问题（但我还不知道是哪段代码导致存储的是这个路径）我在conda环境中使用的是python3.8，cuda用的是11.8版本，cudann用的是8.9.6.50。
高斯泼溅的全面概述
gongdiwudu的专栏
12-30 5058
高斯泼溅是一种用于表示 3D 场景和渲染新颖视图的方法，在“实时辐射场渲染的 3D 高斯泼溅”中引入。
Gaussian-Splatting + Unity
12-24
Gaussian-Splatting + Unity: 使用Gaussian-Splatting训练数据并导入Unity中，大致步骤如下： 0.环境安装配置 1.视频录制 2.视频转序列帧 3.生成点云 4.训练 5.导入Unity 教程及效果展示：...
3D高斯飞溅实时辐射场渲染：一个用于3D实时辐射场渲染的项目
01-13
一个用于3D实时辐射场渲染的项目。它利用高斯飞溅技术来实现高质量的辐射场渲染，适用于图形渲染和可视化领域。这个项目为研究和应用实时渲染的开发者提供了有价值的工具和资源。
3D_Gaussian.zip
06-02
3D_Gaussian.zip
中望CAD 2025 (ZW3D2025) 简体中文修改版
最新发布
贵有恒，何必三更起五更睡；最无益，只怕一日曝十日寒。
06-15 251
描述：一款三维CAD设计工具，运行破解补丁ZW3D2025-2024-Patch执行修补。名称：中望CAD 2025 (ZW3D2025) 简体中文修改版。🏷 标签：#PC软件 #CAD #设计。📁 大小：3.2GB。
【WEB前端2024】3D智体编程：乔布斯3D纪念馆-第40课-实时订阅后端数据
lauo1188的专栏
06-13 522
基于dtns.network智体世界引擎如何实现乔布斯3D纪念馆的碟状总部的实时订阅后端数据并通过精灵3D组件显示出来（显示为文字纹理）。从而首次实现了前后端的实时联动功能。这个可以结合后端的强大的多用户互动功能，实现强大的多用户联机互动能力。或者类游戏的实时场景更新能力。并且运用在诸多的3D展厅、3D纪念馆中，实现节假日的实时活动更新、3D场景内容更新等的联机更新功能等。
元宇宙数字化3D虚拟展馆
VRARvrnew3d的博客
06-11 327
总之无论是艺术家和文化机构、学校和教育机构、企业和组织还是科研团队，元宇宙数字展馆搭建编辑器都能为您提供一个全新的展示和交流平台。
Civil 3d中 三角网曲面求取二维和三维面积
chenjiang0611的博客
06-13 435
ObjectId sId = PromptOptionsHelper.GetPromptEntOptions("请选择曲面", typeof(Autodesk.Civil.DatabaseServices.Surface));strErr = "用户取消操作！d2dAea 和 d3dAea 可以用数据来验证，准确无误，大胆放心使用。
Unity EasyRoads3D插件使用
Game Kingdom的博客
06-12 706
Unity EasyRoads3D插件的使用方法与技巧
opencv with cuda GaussianBlur
05-24
OpenCV is an open source computer vision and machine learning software library. It provides a wide range of image and video processing functions, including Gaussian blur. In addition, OpenCV supports GPU acceleration through CUDA, which can significantly improve the performance of image and video processing algorithms. To use Gaussian blur with CUDA acceleration in OpenCV, you need to have a CUDA-enabled GPU and install the CUDA toolkit and cuDNN library. Then, you can use the cv::cuda::GaussianBlur function to apply Gaussian blur to an image. Here's an example code snippet: ``` cv::Mat image = cv::imread("image.jpg"); cv::cuda::GpuMat gpuImage(image); cv::cuda::GpuMat gpuResult; cv::cuda::GaussianBlur(gpuImage, gpuResult, cv::Size(5, 5), 0); cv::Mat result; gpuResult.download(result); cv::imshow("Result", result); cv::waitKey(); ``` In this code, we first load an image using cv::imread and create a cv::cuda::GpuMat object from it. Then, we create a cv::cuda::GpuMat object to store the result of the Gaussian blur operation. We call cv::cuda::GaussianBlur to apply the Gaussian blur to the GPU image, specifying the kernel size and sigma. Finally, we download the result back to the CPU and display it using cv::imshow.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值