关于使用3DGS使用的实验记录

本实验是跟着b站大佬操做的，下面是网址3D Gaussian Splatting從0開始到Unreal與Unity-( pzman )_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1TC4y1M7EU/?spm_id_from=333.880.my_history.page.click&vd_source=c3cf57c8e78115d1eabc81099f74595c

1.首先去网上下载获取 gaussian-splatting源码

GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"

2. 再开始安装C++编译器

https://aka.ms/vs/17/release/vs_buildtools.exe

勾选编译工具

3.我使用的是anaconda的虚拟环境，创建一个新环境，python版本为3.10.6

4.安装git

Git - Downloads

5.安装cuda，我的版本是12.1，原作者为11.8

6.安装colmap，并配置好环境变量，并输入COLMAP以检查

Release 3.8 · colmap/colmap · GitHub

7.安裝ffmpeg，这是一个将视频拆分成多个截图的软件，同样配置好环境，输入ffmpeg --version以检查

Builds - CODEX FFMPEG @ gyan.dev

8.安装pytorch，注意版本和自己的cuda一致，我的cuda版本是12.1

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

9.pip套件

pip install plyfile tqdm

pip install submodules/diff-gaussian-rasterization

pip install submodules/simple-knn

如果没问题那很幸运，如果有问题看下面

需要自己去网上下载

diff-gaussian-rasterization 无法正常pip:

手动 : diff-gaussian-rasterization

执行:python setup.py install

simple-knn 无法正常pip:

手动 : simple-knn

执行 : python setup.py install

在执行时，我遇到了这个问题，error: -- unsupported Microsoft Visual Studio version!，

其他警告直接忽视，解决方案参考这个链接fatal error C1189: #error: -- unsupported Microsoft Visual Studio version!_fatal error c1189: #error: -- unsupported microsof-CSDN博客

 需更改cuda中的host_config.h文件中的MSC_VER >= 后面的数值，往大改

10.安裝 : viewers

下載 : https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/binaries/viewers.zip

并解压在源码文件下

最终的目录结构如下所示：

---------------------------------------------------------------------------------------------------------------------------------

最初的data文件夹（自己创建一个，方便起见直接放在源码下）中只有MP4文件，和空的input文件夹，这是执行完命令最后的文件内容。

注意理解后面命令行的内容含义，对应好自己的文件名文件路径。

11.转换序列.bat : 

cd data ffmpeg -i input.mp4 -vf "setpts=0.2*PTS" input\input_%%4d.jpg

pause

cd 到data文件夹下，对input.mp4视频截屏，照片放在

12.产生点云.bat : 

python convert.py -s data

pause

13.检查对位.bat :  

COLMAP

这里需要先自己创建或者编辑一个project，注意选择路径不要有中文，再从sparse文件夹中导入模型（我绕着我实验室的工位走了一圈，红色为我的相机路径）

14.开始训练.bat : 

activate gaussian-splatting-main  //（gaussian-splatting-main为环境名字，要在cmd中执行，要先配置conda环境变量）

python train.py -s data -m data/output

15.生成两个ply文件，两个训练步数不同

存在output文件中

16.开启档案.bat :  

.\viewers\bin\SIBR_gaussianViewer_app -m data/output 

Viewer操作:  

 W

ASD

下面为转动摄像机视角

UIO

JKL

后面可以使用unity打开，对其进行更好的查看

下载好unity后，再下载一个文件并解压GitHub - aras-p/UnityGaussianSplatting: Toy Gaussian Splatting visualization in Unity

在unity中下载好一个编辑器，点击add，选中刚才那个解压好的文件，再选择一个编辑器打开，双击左上角

再点击Tools

出来这个框

选择你训练好的文件夹中的ply文件，打开

发现这个蓝色的立方体，点击拖拽到

asset右边的框中，就可以在unity中打开了

至此结束，若对朋友有帮助，我感到十分开心