4D Gaussian Splatting for Real-Time Dynamic Scene Rendering的复现相关问题

已于 2024-10-19 00:25:32 修改
阅读量414 收藏 5
点赞数 3
文章标签： python 图形渲染 linux
于 2024-10-17 02:27:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57204782/article/details/142995209
版权

github：hustvl/4DGaussians： [CVPR 2024] 用于实时动态场景渲染的 4D 高斯展开 --- hustvl/4DGaussians: [CVPR 2024] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering (github.com)

是不是有人在这个pip install -e submodules/depth-diff-gaussian-rasterization和pip install -e submodules/simple-knn这里疯狂报错？

我这里有两个报错的解决方案：

第一种是running cuda的，然后后面是cuda_home=...，这个问题很好解决，意思是你的pytorch版本是cpu版本，这时候可以选择登入Previous PyTorch Versions | PyTorch去选择你需要安装的对应版本，比如根据文章需求的

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

在安装之前最好是pip uninstall把这三个加上torch都给卸了再安装，不然可能会出问题。

cuda安装地址：CUDA Toolkit Archive | NVIDIA Developer

第二个问题是最坑爹的，正当你解决了第一个问题的时候，这时候一片红就出现了，因为没有截图，大概就是几百行的报错，然后里面出现没有指定的类xx的，好，这去看报错人都看晕，而且他妈的没有用！！！为什么，因为该篇作者可能是基于linux的环境写的代码，但本人没用过其他操作系统也不知道会不会有这种问题，反正在window上是不能用的！我是根据后面train的时候需要使用bash来建造colmap，这个bash一直报错自己去搜发现是linux的命令才发觉这个问题的。所以怎么解决呢？很简单，装成cu117版本就行了

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

这时候你就可以pip成功了，浪费了两天时间（哭唧唧）

10.19更新

colmap.sh报错的话就是因为你没有吧他放入环境变量中，你应该这样放入环境变量-系统变量-path

qq_57204782
关注
51-31 CVPR’24 | VastGaussian，3D高斯大型场景重建
AIgraphX
03-16 2271
VastGaussian模型，实现了基于 3D Gaussians Spltting进行大型场景高保真重建和实时渲染。
51-54 CVPR 2024 | DrivingGaussian：周围动态自动驾驶场景的复合高斯飞溅（ Sora能制作动作大片还需要一段时间 ）
AIgraphX
05-27 1436
DrivingGaussian采用复合高斯飞溅进行全局渲染，用于表示周围动态自动驾驶场景，在多运动对象、多相机一致性以及高保真度上实现了优秀的性能。
Deformable 3D Gaussians 与4D Gaussian Splatting实现细节梳理和工程环境配置与运行
u012484514的博客
08-23 2010
对《Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction》和《4D Gaussian Splatting for Real-Time Dynamic Scene Rendering》两篇文章的学习和理解。之所以把两篇放在一起，是因为它们面向的是同一个问题，都是对动态场景的重建，而且它们解决问题的思路在我看来本质上是基本相同的，只是技术细节或者说使用的手法有所差别。
4D Gaussian Splatting：用于实时的动态场景渲染
热门推荐
m0_51976564的博客
11-26 1万+
4D Gaussian Splatting：用于实时的动态场景渲染 4d gaussian splatting for real-time dynamic scene rendering
[论文翻译]4DGS：4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
旭先森
03-09 129
表示和渲染动态场景一直是一个重要但具有挑战性的任务。尤其是要准确模拟复杂运动时，通常很难保证高效率。为了在享受高训练和存储效率的同时实现实时动态场景渲染，我们提出了4D Gaussian Splatting（4D-GS），作为动态场景的整体表示，而不是对每一帧单独应用3D-GS。在4D-GS中，提出了一种新颖的显式表示，包含3D高斯和4D神经体素。提出了一种受HexPlane启发的分解神经体素编码算法，用于从4D神经体素中高效构建高斯特征，然后应用轻量级MLP预测新时间戳的高斯变形。
有关4D Gaussian Splatting论文思想与代码的讨论
weixin_71780622的博客
02-07 3701
​ 此文是对论文4D Gaussian Splatting for Real-Time Dynamic Scene Rendering[1]中的思想与相关代码的简单讨论，其中一些部分是个人浅薄的理解，欢迎有不同看法的读者在评论区留言。
【读论文】【速读】4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
小白有颗大白梦的博客
05-21 914
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering论文阅读笔记
【4DGS】4DGS论文讲解与4DGS实验复现 Real-time Photorealistic Dynamic Scene Representation and Rendering 4DGS
sunflowers__k的博客
12-04 2174
4D Gaussian Splatting (4DGS) 是由复旦大学团队提出的一种高效动态场景建模与渲染技术，已发表在 ICLR 2024。它在实时动态场景渲染领域取得了革命性突破，解决了传统方法难以应对动态场景的复杂性和实时性问题。动态场景建模：使用4D高斯原语（包含时间维度）统一表示时空特性。实时高效渲染：结合GPU友好的光栅化方法，实现了每秒114帧的实时渲染速度。高质量视觉效果：生成复杂动态场景中的高保真图像和视频。4D高斯建模：通过联合参数化空间和时间维度捕获动态场景本质特性。
TGV之LTX：LTX-Video的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-11 1078
​ TGV之LTX：LTX-Video的简介、安装和使用方法、案例应用之详细攻略 目录 LTX-Video的简介 LTX-Video的安装和使用方法 LTX-Video的案例应用 LTX-Video的简介 LTX-Video是第一个基于DiT的实时高质量视频生成模型。它能够以1216×704分辨率生成30 FPS的视频，速度快于观看视频本身。该模型在一个大型多样化视频数据集上进行训练，能够生成具有逼真和多样化内容的高分辨率视频。它支持文本到视频、图像到视频、关键帧动画、视
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1356
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
maxtext开源程序是一个简单、高性能和可扩展的 Jax LLM！
struggle2025的博客
05-12 975
MaxText 是一种高性能、高度可扩展的开源软件，以纯 Python/Jax LLM 编写，以 Google Cloud TPU 和 GPU 为目标，用于训练和推理。借助 Jax 和 XLA 编译器的强大功能，MaxText 实现了高 MFU 并从单个主机扩展到超大型集群，同时保持简单和“无优化”
基于 Python 的后端开发学习路线
qq_49894233的博客
05-12 410
按照这条路线一步步学习，将会帮助你掌握后端开发的核心技能，成为一名合格的 Python 后端开发者。使用 Python 的 mysql-connector 或 psycopg2 连接数据库。使用 Python 的 unittest 或 pytest 进行单元测试。MongoDB 基础操作，使用 Python 的 pymongo 库。HTTP 协议（GET、POST、PUT、DELETE 等方法）条件语句（if-else）、循环（for、while）自己动手开发项目，例如博客、社交网站、在线商城等。
【生存技能】ubuntu 24.04 如何pip install
m0_52682586的博客
05-10 623
在Ubuntu系统中，直接使用pip安装Python包到系统环境时可能会遇到权限问题，因为系统出于稳定性考虑禁止了这种操作。为了解决这个问题，可以创建一个虚拟环境来安装所需的Python库
Python 数据分析与可视化：开启数据洞察之旅（5/10）
小相探索IT世界
05-09 2002
在当今数字化时代，数据就像一座蕴藏无限价值的宝藏，等待着我们去挖掘和探索。而 Python，作为数据科学领域的明星语言，凭借其丰富的库和强大的功能，成为了开启这座宝藏的关键钥匙，在数据分析和可视化领域占据着举足轻重的地位。在进行 Python 数据分析与可视化的旅程中，选择合适的开发工具至关重要。它们就像是工匠手中的精良工具，能够极大地提升我们的工作效率和开发体验。下面将为大家介绍两款在 Python 数据分析领域广泛使用的开发工具：Jupyter Notebook 和 VSCode。
SparkSQL操作Mysql
2301_82309776的博客
05-13 345
SparkSQL 提供了强大的功能来连接和操作 MySQL 数据库，支持读取数据、写入数据以及执行 SQL 查询。下面将详细介绍如何使用 SparkSQL 与 MySQL 进行交互，并提供完整的代码示例。，并将 JAR 文件添加到 Spark 的 classpath 中。在创建 SparkSession 时，通过。
华为OD机试真题——单词接龙（首字母接龙）（2025A卷：100分）Java/python/JavaScript/C/C++/GO最佳实现
专注分享技术、实用优质教程、资源
05-11 531
华为OD机试真题——单词接龙（首字母接龙）（2025A卷：100分）Java/python/JavaScript/C/C++/GO最佳实现
第十七章：Llama Factory 深度剖析：易用性背后的微调框架设计
最新发布
YPeng_Gao的博客
05-13 828
Llama Factory 是一个开源工具，旨在简化大语言模型（LLM）的微调过程，支持多种参数高效微调方法（PEFT），如 LoRA 和 QLoRA。其核心价值在于降低技术门槛和资源消耗，通过直观的 Web UI 和统一配置，使非专业开发者也能快速上手。Llama Factory 的设计哲学强调封装复杂性，提供模块化架构，涵盖配置管理、数据处理、模型加载、训练循环和结果保存等关键组件。它通过统一接口支持多种 PEFT 方法，集成分布式训练和量化技术，简化了微调流程。
JS DOM操作与事件处理从入门到实践
m0_50296683的博客
05-10 818
这篇文章主要面向初中级开发爱好者，深入浅出地讲解了JavaScript如何通过DOM操作和事件处理赋予网页交互性。文章首先介绍了DOM（文档对象模型）作为HTML与JS沟通的桥梁及其树状结构。接着，详细演示了核心DOM操作：查询、创建、添加、修改（内容、属性、样式）和删除元素。随后，系统阐述了事件处理机制：包括事件监听器的绑定、强大的事件对象、事件流的捕获与冒泡，以及高效的事件委托模式。最后，文章总结了编写高性能、高可读性及易访问（a11y）代码的最佳实践。
麒麟系统如何卸载Anaconda
qq_42078147的博客
05-09 370
在麒麟操作系统（Kylin OS）上卸载 Anaconda 的步骤与在其他 Linux 系统上类似。
2d-gaussian-splatting复现
04-03
### 2D Gaussian Splatting 实现详解 #### 背景介绍 2D Gaussian Splatting 是一种利用二维高斯分布来表示图像或场景的技术。它能够高效地处理大规模数据集并提供高质量的重建效果。这种方法的核心在于使用高斯面元（Gaussian surfels），它们可以存储位置、尺度、旋转、颜色、不透明度以及语义信息。 --- #### 数据准备与环境配置 在开始复现之前，需确保开发环境已正确设置。推荐使用的框架包括 PyTorch 或 TensorFlow，并安装必要的依赖库。以下是基本的 Python 环境配置命令： ```bash pip install torch torchvision numpy matplotlib opencv-python scikit-image ``` 如果需要 GPU 加速支持，则还需确认 CUDA 和 cuDNN 驱动版本兼容性[^4]。 --- #### 核心算法流程解析 ##### 1. 初始化阶段 对于每个高斯面元，其初始参数可以通过输入轨迹或其他先验条件设定。具体而言： - **位置**：通常由点云坐标决定； - **尺度**：定义为标准差 σ 的大小； - **旋转角度**：用于调整椭圆方向； - **颜色/不透明度**：从 RGB 值映射而来； 上述过程可通过如下伪代码描述： ```python import numpy as np def initialize_gaussians(trajectory_points, sigma=0.1): """ Initialize a set of 2D Gaussians from trajectory points. Args: trajectory_points (np.ndarray): Array of shape (N, 2), representing the xy coordinates. sigma (float): Standard deviation for all gaussians. Returns: dict: Dictionary containing initialized parameters. """ N = len(trajectory_points) params = { "position": trajectory_points, "scale": np.full((N,), sigma), "rotation": np.zeros(N), "color": np.random.rand(N, 3) # Random colors for visualization purposes } return params ``` ##### 2. 渲染模块设计 渲染目标是将所有高斯面元投影到屏幕空间上形成最终图像。此操作涉及积分计算以模拟光照效应。假设像素值 P(x,y) 受多个重叠的高斯影响，则有公式表达式[^3]: \[ P(x, y) = \sum_{i} w_i G(x - μ_x^{(i)}, y - μ_y^{(i)}; Σ^{(i)}) \] 其中 \(μ\) 表示均值向量而Σ代表协方差矩阵形式化写法。 实际编码时建议调用现有工具包简化复杂运算逻辑比如 `diff-gaussian-rasterization` 提供的功能接口[^1]: ```python from diff_gaussian_rasterization import rasterize_gaussians # Example usage with dummy data positions = np.array([[0., 0.], [1., 1.]]) scales = np.array([[[0.1, 0.], [0., 0.1]], [[0.1, 0.], [0., 0.1]]]) # Covariance matrices rotations = np.radians(np.array([0., 45.])) colors = np.ones((2, 3)) image_size = (256, 256) rendered_image = rasterize_gaussians( positions.astype('f'), scales.astype('f'), rotations.astype('f'), colors.astype('f'), image_size=image_size ).cpu().numpy() ``` ##### 3. 参数优化策略 采用梯度下降方法更新模型权重直至收敛为止。损失函数 L 定义取决于应用场景可能包含但不限于以下几种成分： - 图像相似性误差 MSE(L2 norm); - 边缘锐利程度约束 TV(total variation regularization); - 如果存在额外传感器读数则加入相应项如 LiDAR height supervision; 完整训练脚本片段展示如下所示： ```python import torch.optim as optim class LossFunction(torch.nn.Module): def __init__(self): super().__init__() def forward(self, rendered_img, target_img): l_mse = ((rendered_img - target_img)**2).mean() # Mean Squared Error grad_x = rendered_img[:, :, :-1] - rendered_img[:, :, 1:] grad_y = rendered_img[:, :-1, :] - rendered_img[:, 1:, :] tv_loss = torch.abs(grad_x).mean() + torch.abs(grad_y).mean() total_loss = l_mse + 0.01 * tv_loss return total_loss optimizer = optim.Adam(gaussian_params.values(), lr=0.01) loss_fn = LossFunction() for epoch in range(num_epochs): optimizer.zero_grad() output = render_function(**gaussian_params) loss_value = loss_fn(output, ground_truth) loss_value.backward() optimizer.step() ``` --- #### 注意事项 - 显存管理至关重要尤其是在大批量实例情况下考虑分批加载减少内存占用情况发生; - 初始猜测质量直接影响后续迭代速度因此尽可能依据领域知识选取合理默认值; - 不同硬件平台间性能差异较大测试期间注意监控资源利用率防止过载崩溃现象产生. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值