3D Gaussian Splatting的使用

1 下载与安装

今年SIGGRAPH最佳论文,学习了一下,果然厉害,具体论文原理就不说了,一搜都有,主要是看看怎么用,自己能不能把身边的场景快速建个模。

赶紧记录下,好像这几天在这个基础上又有很多花样出来了…

我的系统是Ubuntu22.04。

开源作者已经都弄的很详细了,也有教程。
首先拉项目

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

然后,要建conda环境,而项目已经提供了配置文件包含了需要的各版本信息,文件就是:enviornment.ymal,所以这么调用就建好环境,并激活:

conda env create --file environment.yml
#文件里给环境的名字固定叫 gaussian_splatting
conda activate gaussian_splatting

此时呢,虽然建好了,但是呢也报错了,仔细分析了error,是因为安装项目里的submodules里的两个项目报错了,类似这样的报错:

/usr/include/c++/11/bits/std_function.h:435:145: error: parameter packs not expanded with ‘…’:
435 | function(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:435:145: note: ‘_ArgTypes’ /usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘…’: 530 | operator=(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:530:146: note: ‘_ArgTypes’

查了半天以为是g++版本不对,有的说要将到版本10,还有说要改c++文件源码。我没敢改,再找了下,发现我的cuda版本是11.5,而该项目要求的是11.8,于是我就升级了一下,具体怎么升级,见我之前写的一篇 升级和切换CUDA版本

升级完CUDA,就手动再安装这两个子模块:

pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

都没问题,成功安装~

2 准备场景样本

准备拿会议室整个屋子做一次尝试,看看能不能建出个模来。

2.1 准备场景照片

2.1.1 采集图片

根据原理吧,就需要这个场景中所有位置所有角度的图像,所以这个准备过程多仔细就能决定最终模型的效果。
我试了很多次,觉得拍视频最好,完了再抽帧。

因为训练的照片要分辨率统一,相机参数、光照等看着都比较统一才好。
另外,建议分辨率推荐1080p,至少720p。再退一步,至少保证宽或高有一个能到720 ,不然训练出来的效果不好,这是我的个人经验。

拍视频的时候,一定不要在一个位置转的拍,要缓慢走动,边走边转,上下左右,然后再走回来,这个路线根据场景要设计好,目的就是在任何位置上都有任何角度的照片。这只能尝试体会了。。。

然后,有了视频,就能通过抽帧拿到图片了,想要效果可以,我建议500张起,多的话我只试到2000张,再多我也没尝试。
怎么抽帧呢,就用ffmpeg

比如,先建一个data目录,data目录里一定要建个input文件夹,名字必须是这个。

ffmpeg -i room.mp4 -r 3 -f image2 input/%06d.jpg

-i就是输入视频,
-r就是帧率,控制抽的图片数量
后面input/%60d.jpg ,图片名字最终是 000001.jpg, 000002.jpg这样的格式。

最终在data/input下就有了一堆图片

2.1.2 生成相机位姿

首先呢,系统里要先安装colmap,使用源码装,具体怎么装,见我之前的文章:
Colmap在Linux下的安装

装好了呢,就在gaussian splatting 项目目录下,运行convert.py

python convert.py -s data

这里 -s 要传入数据目录,一定写data这个目录级别(input在这个目录下)

这时用的是CPU跑的,多等会儿,最终就在data目录下生成一堆目录和文件,包括相机位姿。

3 训练

前面都OK了,就开始训练了。

注意:如果训练图片比较多,比如超过1000张了,那要先给系统设置一下同时打开的文件数上限,因为默认的数太小了,会报错:
OSError: [Errno 24] Too many open files:
所以先临时调大一下上限:
ulimit -n 10000
1w一般就够了,这个设置重启电脑后就失效了。想要永久有效,搜一下就知道了。

然后运行:

python train.py -s data -m data/output

-s还是一样,要写到data这个目录级别
-m 是输出文件夹,就写data下的output,output目录会自动创建的

整个训练是30000步,在7000步的时候会自动保存一个中间模型。

运行时间的话我举个我的测试例子:

分辨率 1920x1080,939张照片,convert.py的时间是二十几分钟,train.py的时间一共是15分钟。
GPU显存占用22GB,训练得到的ply文件 156MB。

4 展示

该项目也提供了展示的软件,在SIBR_viewers目录里:
进去要编译安装一下这个软件。

编译过程因为有东西下不下来,会出错,得想办法,之后有空单独简单记录一下。

这个软件也要用GPU跑,我就在Ubuntu上跑的,最终安装的目录在SIBR_viewers/install/bin里,所以就进目录里运行:

install/bin/SIBR_gaussianViewer_app -m /home/xxxx/data/output

-m 就是给上面训练后的output目录就行了。

有用的模型就一个,就是30000步里的那个Ply文件。

我这会议室效果展示,就不录屏了,来几个角度的照片吧:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

我其实弄的也没那么仔细,但是效果还挺厉害,如果不动的话,就和照片一样。

这个模型出来,和传统模型其实不一样,不好弄成obj fbx啥的,就是它这算法直接渲染的。至于怎么在产品或者其他场景里用,后面有空再说,我已经尝试了一个在web里打开的demo了,只是没那么流畅而已。

  • 56
    点赞
  • 52
    收藏
    觉得还不错? 一键收藏
  • 21
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值