Gaussian Splatting复现过程

摘要：三个关键要素，使我们能够在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在 1080p 分辨率下进行高质量的实时（≥ 30 fps）新颖视图合成。首先，从相机校准过程中产生的稀疏点开始，我们用3D高斯来表示场景，保留了连续体积辐射场的理想属性，用于场景优化，同时避免了在空白空间中不必要的计算;其次，我们对三维高斯进行交错优化/密度控制，特别是优化各向异性协方差以实现场景的准确表示;第三，我们开发了一种快速的可见性感知渲染算法，该算法支持各向异性展开，既能加速训练，又能实现实时渲染。

project：3D Gaussian Splatting for Real-Time Radiance Field Rendering code：https://github.com/graphdeco-inria/gaussian-splatting paper：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_high.pdf display：www.youtube.comwatchv=UXtuigy_wYc

guide：3D Gaussian Splatting入门指南 - 哔哩哔哩 (bilibili.com)

guide：GitHub - yangqinhui0423/gaussian-splatting-Windows

part1环境要求

1.硬件要求

支持CUDA的24G VARM的GPU(4060/3060也可以！！！)

2.软件要求

CUDA:11.8(建议) torch2.0.0+cu118

//cuda版本
nvcc --version 
    
//创建conda环境
conda create -n gaussion_splatting python=3.9
​
conda activate gaussion_splatting
​
pip install torch==2.0.0+cu118 -f https://download.pytorch.org/whl/torch_stable.html
​
//检测torch
进入python
    >>> import torch
    >>> print(torch.__version__)
​
pip install plyfile tqdm 
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

git-windows

Git：Git - 下载 (git-scm.com)

Visual Studio 2019

Visual Studio 较旧的下载 - 2019、2017、2015 和以前的版本 (microsoft.com)

确保安装 Desktop Development with C++（环境变量）

COLMAP Releases · colmap/colmap (github.com)（环境变量）

ImageMagik ImageMagick – Download

FFMPEG ImageMagick – Download（环境变量）

part2数据集准备

ffmpeg分解数据

ffmpeg -i {video} -qscale:v 1 -qmin 1 -vf fps={fps} {output}%4d.jpg
//{video}---视频的路径
//{fps}---fps
//{output}---输出路径

colmap位姿计算

colmap指令：
python convert.py -s <location> [--resize]
python convert.py -s data/ocean

文件格式

gaussian-splatting源代码

---data

---scene_name--colmap格式的数据集

--output训练的模型

命令

//训练
train指令：
python train.py -s data/ocean
//GUI
cd viewers/bin/sibr_gaussian_app.exe -m <训练好的点云路径trained model>