Hierarchical 3D Gaussians开源项目教程

Hierarchical 3D Gaussians开源项目教程

hierarchical-3d-gaussians Official implementation of the SIGGRAPH 2024 paper "A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets" 项目地址: https://gitcode.com/gh_mirrors/hi/hierarchical-3d-gaussians

1. 项目介绍

Hierarchical 3D Gaussians是一个用于实时渲染非常大的数据集的开源项目。该项目提出了一种分层3D高斯表示方法，可以在不牺牲质量的情况下，提高大型数据集的渲染效率。这种方法特别适用于需要处理大量数据的应用场景，如虚拟现实、游戏和可视化等。

2. 项目快速启动

环境准备

在开始之前，请确保您的系统已经安装了以下依赖：

• CMake 3.22.1
• gcc/g++ 11.4.0 或 Visual Studio 2019
• CUDA (11.8, 12.1 或 12.5)
• COLMAP 3.9.1（仅用于预处理）
• Python 3.12 环境及相关的包

克隆项目

使用以下命令克隆项目：

git clone https://github.com/graphdeco-inria/hierarchical-3d-gaussians.git --recursive
cd hierarchical-3d-gaussians

配置Python环境

创建并激活一个新的conda环境：

conda create -n hierarchical_3d_gaussians python=3.12 -y
conda activate hierarchical_3d_gaussians

安装必要的Python包：

# 根据CUDA版本选择相应的包
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

下载权重文件

为了启用深度损失，需要下载以下模型权重之一：

• Depth Anything V2：从Depth-Anything-V2-Large下载，并将其放置在submodules/Depth-Anything-V2/checkpoints/目录下。
• DPT：从dpt_large-midas-2f21e586.pt下载，并将其放置在submodules/DPT/weights/目录下。

编译层次结构生成器和合并器

cd submodules/gaussianhierarchy
cmake . -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j --config Release
cd ../..

编译实时查看器

对于Ubuntu 22.04，安装依赖：

sudo apt install -y cmake libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev

克隆层次结构查看器并构建：

cd SIBR_viewers
git clone https://github.com/graphdeco-inria/hierarchy-viewer.git src/projects/hierarchyviewer
cmake . -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_IBR_HIERARCHYVIEWER=ON -DBUILD_IBR_ULR=OFF -DBUILD_IBR_DATASET_TOOLS=OFF -DBUILD_IBR_GAUSSIANVIEWER=OFF
cmake --build build -j --target install --config Release

3. 应用案例和最佳实践

• 虚拟现实应用：使用Hierarchical 3D Gaussians进行大型虚拟环境的实时渲染。
• 游戏开发：利用该项目提高游戏场景的渲染效率，尤其是在处理复杂和大规模环境时。
• 科学可视化：为科学研究提供高效的数据可视化工具，特别是在需要处理大量数据点的场景中。

4. 典型生态项目

• COLMAP：用于预处理输入图像，生成相机参数和点云数据。
• PyTorch：用于优化和训练模型。
• OpenCV：用于图像处理和计算。

以上是Hierarchical 3D Gaussians项目的简要教程，希望对您有所帮助。

hierarchical-3d-gaussians Official implementation of the SIGGRAPH 2024 paper "A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets" 项目地址: https://gitcode.com/gh_mirrors/hi/hierarchical-3d-gaussians