Docker 环境下 3D Guassian Splatting 的编译和配置

已于 2024-08-22 21:14:52 修改
阅读量1k 收藏 24
点赞数 22
分类专栏： 机器人感知 文章标签： docker 容器 算法 机器人 计算机视觉
于 2024-05-31 16:22:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woyaomaishu2/article/details/139353111
版权

Title: Docker 环境下 3D Guassian Splatting 的编译和配置

文章目录

前言

3D Guassian Splatting 很火, 也想看一下.

下面简单记录一下 Docker 环境下编译和配置 3D Guassian Splatting (下面简称 GS) 的过程.

GS 开源代码地址 https://github.com/graphdeco-inria/gaussian-splatting?tab=readme-ov-file.

I. 宿主系统上的安装配置

宿主系统 (主机系统) :

~$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04.6 LTS
Release:	20.04
Codename:	focal

显卡:

~$ lspci|grep -i vga
0000:73:00.0 VGA compatible controller: NVIDIA Corporation Device 2204 (rev a1)
0000:d5:00.0 VGA compatible controller: NVIDIA Corporation Device 2204 (rev a1)

宿主系统上安装 nvidia 驱动等主要是以下三步, 我在其他代码安装时已经处理好了 (没有记录). 网友分享非常多, 参照各类博文步骤处理就行.

1. 安装 nvidia driver

2. 安装 docker

3. 安装 nvidia-container-toolkit

sudo apt-get install nvidia-container-toolkit

II. Docker 容器安装配置

1. 拉取 ubuntu 22.04

docker pull ubuntu:jammy

2. 创建容器

docker run -it  -d -p 8888:8888 -p 6006:6006 -p 8022:22 \
	--gpus all \
	--ipc=host \
	--name gaussian_splatting -v /home/robot/working_space/python/pytorch:/workspace \
	--workdir=/workspace \
	-e DISPLAY=unix$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix:rw -e NVIDIA_DRIVER_CAPABILITIES=all\
	ubuntu:jammy  /bin/bash

其中

-i , --interactive —— Keep STDIN open even if not attached.

-t, --tty —— Allocate a pseudo-TTY.

-it 表示创建一个交互式的容器 -i, 并绑定一个伪终端 -t.

-d —— Run container in background and print container ID.

-p —— Publish a container’s port(s) to the host.

将容器内部的端口映射到宿主机的端口上, 从而使得外部网络可以通过宿主主机的 IP 地址和端口访问容器内的应用程序. 映射规则由两个端口号组成, 中间用冒号分隔,[第一个端口号是宿主主机的端口号:第二个端口号是容器内部的端口号]. 这三个端口映射配置并非安装 GS 所必须, 这里配置是为了容器中运行 jupyter 设置的 (其他目的, 故可按照需求删除 -p 8888:8888 -p 6006:6006 -p 8022:22).

--gpus 安装 nvidia-container-toolkit 引入的配置参数, 将 GPU 设备分配给容器, 使容器能使用 GPU 进行计算, all 参数将所有 GPU 设备分配给容器.

-ipc —— IPC mode to use.

默认情况下容器使用相互隔离的进程间通讯, 而参数 host 使得容器可以与主机上的进程直接进行进程间通信.

--name string —— Assign a name to the container.

-v —— Bind mount a volume, 将主机系统上的 /home/robot/working_space/python/pytorch 路径 (改成自己的路径) 挂载到容器的 /workspace 路径 (改成自己的路径), 方便容器和主机之间共享数据.

--workdir string —— Working directory inside the container.

-e, --env list —— Set environment variables.

-e DISPLAY=unix$DISPLAY 修改环境变量 DISPLAY.

-v /tmp/.X11-unix:/tmp/.X11-unix:rw 表示共享本地unix端口, docker 可以知道本地宿主机上安装的 X11 界面服务.

Unix/Linux 的主流图形界面服务为 X11, 该图形显示方式实际上是一种 client/server 模式, 在服务端和客户端之间 X11通过 DISPLAY 环境变量来指定将图形显示到何处. 后面的参数就是将主机上 X11的 unix 套接字共享到了容器里面, 每个 unix 套接字实际上就是系统 /tmp/.X11-unix 目录下面的一个特殊文件.

-e NVIDIA_DRIVER_CAPABILITIES=all 设置显示环境变量. The NVIDIA_DRIVER_CAPABILITIES controls which driver libraries/binaries will be mounted inside the container. The possible values of the NVIDIA_DRIVER_CAPABILITIES variable are: compute, video, graphics, utility, or all. 其中 all 参数enable all available driver capabilities. 也就是说, --gpus 是分配哪几块 GPU 给容器, 而 NVIDIA_DRIVER_CAPABILITIES 是分配到的 GPU 发挥哪些能力. (详细信息 NVIDIA Container Toolkit User Guide 或 Specialized Configurations with Docker)

ubuntu:jammy 为 IMAGE 镜像.

/bin/bash 表示载入容器后运行 bash, docker 中必须要保持一个进程的运行, 不然容器启动后马上 “执行完毕后容器被终止”.

(可参考docker run的配置参数详解、Docker 环境下运行 Fast_LIO 进行三维建模的前/后处理设置)

3. 进入容器

A. 进入容器

xhost + 
# 通过使用 + 选项，可以让所有主机都有权限连接到 X服务器 (xhost)
docker ps -a
docker start gaussian_splatting
docker attach gaussian_splatting

B. 查看容器中操作系统的版本

/workspace# cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04
DISTRIB_CODENAME=jammy
DISTRIB_DESCRIPTION="Ubuntu 22.04.4 LTS"

C. 查看容器中 nvidia driver, 确认容器中能够访问 nvidia 驱动

fig1-nvidia-smi

D. 容器中系统更换国内源, 比如 sources.list 中增加对应ubuntu版本的清华源、阿里源、中科大源等

E. 容器中测试一下 X11 Display, 为后面 SIBR_gaussianViewer 的运行做准备

apt-get install x11-apps
xclock
fig2-xclock

4. 容器中安装 cuda SDK

之前安装 nvidia 驱动已经包含了 cuda driver. 但这不是完整的开发环境, 没有包含编译器等工具. 我们参考 Docker 镜像 中 Cuda 安装 来进行下面步骤.

A. 下载 CUDA Toolkit 11.8

地址: https://developer.nvidia.com/cuda-toolkit-archive

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.runsudo

B. 安装依赖

apt-get install gcc g++ freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libglu1-mesa libglu1-mesa-dev

C. 安装 cuda

sh cuda_11.8.0_520.61.05_linux.run
fig3-cuda-sdk

D. 容器中设置环境变量

在 /root/.bashrc 文件尾添加:

export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH

E. 启用新环境

source ~/.bashrc

F. 安装验证

/workspace# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

5. 容器中安装 miniforge 3

A. 下载

https://conda-forge.org/download/

B. 安装

bash Miniforge3-Linux-x86_64.sh

在安装中间步骤中修改了安装位置 /workspace/miniforge3 (改或不改都可).

C. 在 .bashrc 中添加系统环境变量

export PATH=/workspace/miniforge3/bin:$PATH

source ~/.bashrc

E. 激活默认 conda 虚拟环境

conda init bash
source ~/.bashrc

6. 安装 cmake

A. 下载 cmake 源码

从 https://cmake.org/download/#older 下载 cmake-3.28.5.tar.gz

B. 安装依赖

apt-get install libssl-dev

C. 运行构建工具

使用 tar -zxvf 解压后运行

cd cmake-3.28.5
./bootstrap

D. 编译和安装

make install -j2

III. 编译与测试 GS

1. 虚拟环境配置

A. 源代码 Clone

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

B. 创建 GS 的虚拟环境

cd /workspace/gaussian-splatting/
conda env create --file environment.yml
conda activate gaussian_splatting

C. 查看 conda 虚拟环境

/workspace/gaussian-splatting# conda info --envs
# conda environments:
#
base                     /workspace/miniforge3
gaussian_splatting    *  /workspace/miniforge3/envs/gaussian_splatting

D. 设置容器开机默认虚拟环境

将 GS 的虚拟环境设置为该容器开机默认进入的 conda 虚拟环境, 需在 ~/.bashrc 中设置

conda activate gaussian_splatting

source ~/.bashrc

2. 训练与评估

A. 训练测试

python train.py -s ../GaussianSplatting_dataset/tandt_db/tandt/truck/ -m ../GaussianSplatting_dataset/truck/output/
train

B. 评估测试

python train.py -s ../GaussianSplatting_dataset/tandt_db/tandt/truck/ --eval
# Output folder: ./output/bba0c333-0
python render.py -m ./output/bba0c333-0/
python metrics.py -m ./output/bba0c333-0/
fig5-evaluate

C. 问题处理

运行 metrics.py 时遇到 “Unable to compute metrics for model” 错误, 需要安装依赖 torchmetrics

(参考 https://github.com/graphdeco-inria/gaussian-splatting/issues/481)

conda install torchmetrics

如果还是有问题, 请检查网络, 因为第一次运行时需要下载 vgg.pth.

Downloading: "https://raw.githubusercontent.com/richzhang/PerceptualSimilarity/master/lpips/weights/v0.1/vgg.pth" to /root/.cache/torch/hub/checkpoints/vgg.pth

3. 编译安装 SIBR_gaussianViewer

A. 安装依赖

apt install libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev
apt install git

B. 编译 Viewer

cmake -Bbuild . -DCMAKE_BUILD_TYPE=Release
cmake --build build -j2 --target install

C. 测试 Viewer

cd ./install/bin
./SIBR_gaussianViewer_app -m /workspace/GaussianSplatting_dataset/truck/output/
rendering

4. [补充] 在线查看建模过程

如果想在训练时在线查看模型如何一点点优化好的, 需要调用 SIBR_remoteGaussian_app.

直接运行 /SIBR_viewers/install/bin 文件夹下 SIBR_remoteGaussian_app 时遇见错误如下:

[SIBR] – INFOS --: Initialization of GLFW
[SIBR] – INFOS --: OpenGL Version: 4.6.0 NVIDIA 535.183.01[major: 4, minor: 6]
[SIBR] ## ERROR ##: FILE /workspace/gaussian-splatting/SIBR_viewers/src/core/system/Utils.cpp
LINE 82, FUNC loadFile
File not found: texture.fp
terminate called after throwing an instance of ‘std::runtime_error’
what(): See log for message errors
Aborted (core dumped)

根据 https://github.com/graphdeco-inria/gaussian-splatting/issues/508 上面的提示.

切换到 ./SIBR_viewers/install/shaders/core 路径下运行 SIBR_remoteGaussian_app.

remote_viewer

小结

这样安装配置完毕了.

注意一下网络是否通畅, 因为要自动下载好多依赖库.

wzf@robotics_notes
关注
专栏目录
Linux 下 3D Gaussian Splatting 环境配置（2）——多个CUDA
m0_74106881的博客
05-15 1100
本文适用于，服务器已有非11.6版本的CUDA Toolkit（可通过nvcc -V命令查看版本），而且不能简单的把原来CUDA删掉，而是要多个CUDA Toolkit并存的情况。
3D-gaussian-splatting运行（免环境配置）
L_IRISRIIN的博客
01-09 3395
3D高斯泼溅复现教程，windows环境下免环境配置
3D Gaussian Splatting sibr_viewers 安装不成功
waterice0717的博客
02-29 2221
submodules/diff-gaussian-rasterization 这个安装也是个大坑。======还有这个 SIBR_viewers 也是无敌坑 zip里面是空文件 参考这个试试====4.5.5的报错 看不懂解决不了 #@￥@#￥@#￥@#！======不这样就少三个包 自己zip下载 哭死=============装了 验证opencv 依然不对====非常惨 要求openc4.5 需要升级。仔细检查 不是这个。=====靠 又报错======4.5.0的按照这个方法。
3D Gaussian Splatting Linux端部署指南（含Linux可视化）
serapan的博客
02-21 1万+
B站上看过windows版本的部署方式，可惜我的电脑没有GPU，linux服务器才有，于是根据github官网探索3D Gaussian Splatting的Linux端部署方式，记录一下。
Docker-mmdetection3d
weixin_42783619的博客
11-09 1425
docker安装 https://blog.csdn.net/b1134977524/article/details/120442417 部署cuda https://blog.csdn.net/weixin_50008473/article/details/119464898
VR+Docker: 3D动漫<DOCKER化>的应用范例及其效益
weixin_33912246的博客
04-21 273
VR+Docker: 3D动漫&lt;DOCKER化&gt;的应用范例Docker in the 3D animation world. Game on!本文參考 --- http://blog.cloud66.com/untitl/ 　  请您参考一家法国的3D动画公司如何使用Docker的。Allegorithmic是一家法国的3D动画公司，像Unity3D插件Substance、Substa...
【AI框架】MMDetection3D 目标检测框架的 Docker 环境制作和改良
白拾的博客
03-20 8980
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台. ✨本文提供了一套完整的基于Docker的目标检测研究环境搭建思路，对官方教程进行了一定的修改和补充。同时随文提供SSH和Jupyter server实践，均为可用状态，提供了可靠资料给小伙伴们探索。 注：官方docker适合运行框架内的模型，本文的修改的docker适合对模型进行修改和创新，对使用者的要求略高。 全流程 1. 下载需要的资源 1. 下载 Kitti 数据集 2. 下载.
docker下open3d安装记录
weixin_43918682的博客
12-10 1141
1 理论上 pip install open3d就行了，但是是在docker下安装 很多依赖都是没有的，pip install 后import 会报错， 如：…while loading shared libraries: libc++.so.1 cann… 特此记录 需要安装依赖： apt-get update apt-get install libc++1 然后缺什么包就再安装什么就ok ，如plyfile。 pip3 install plyfile ...
手把手教你架构3d游戏引擎pdf_你居然还不知道Docker是个什么？阿里架构师的实战文档拿去学...
weixin_39878855的博客
11-29 150
docker标志什么是docker都9102年了，你居然还不会Docker是个什么鬼？ 阿里架构是的实战文档拿去学想学习docker容器化技术，你也许需要这一份阿里架构师写得文档一句话概述：docker是一个开源的应用容器引擎，基于go语言开发并遵循了apache2.0协议开源。为什么docker越来越受欢迎容器化越来越受欢迎，因为容器是：我们运用官方的解释：当你还没有掌握容器化技术的时候，你可能...
在ubuntu环境下clion与pycharm使用本地docker中的环境进行调试和编译
wanghui471的博客
11-09 1511
使用已经配置好的docker环境进行开发会方便很多，但是docker环境只能使用命令行的方式进行交互，对于习惯使用IDE的同学来说还是有点不方便，所以本文介绍了如果在宿主机中使用clion与pycharm使用docker中的环境方法。 docker配置 先拉取所需的docker进行环境配置，这部分因人而异。 开发环境配置 确保docker中已经安装了C++与python所需的开发环境，可以用下列的命令检测（python3、g++、gcc、cmake、make、gdb） python3 --version g
团队环境搭建：使用docker快速架构AOSP源码编译环境（谷歌原版）
上周的博客
06-16 1589
本文详细介绍如何使用docker来构建谷歌原版，android 系统的aosp源码编译环境，按步骤执行，即可快速完成。
docker 开发编译环境搭建
vito
03-20 8440
参与docker开源社区，成为docker项目的contributor，首先要搭建docker的开发编译环境，下面是docker官网介绍的编译环境的搭建，这里做个笔记。docker的编译环境准备非常简单，因为docker官网提供了编译环境的dockerfile，所以只要用这个dockerfile生成docker镜像，即可进行编译： 一、生成docker编译环境镜像:dockercore/do...
Docker环境下MySQL备份恢复工具XtraBackup使用详解 | Spring Cloud 62
gmHappy
08-06 9412
`Percona XtraBackup`是一个开源的`MySQL`和`MariaDB`数据库备份工具，它能够创建高性能、一致性的备份，并且对生产环境的影响很小。`Percona XtraBackup`通过在不停止`MySQL`服务器的情况下，复制`InnoDB`存储引擎的数据文件和事务日志，来实现备份和还原操作。
Docker（十四）：离线环境下安装 Docker Compose
热门推荐
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
03-18 2万+
🟢 Docker（十四）：离线环境下安装 Docker Compose
3D Gaussian Splatting学习记录11.2
weixin_46933478的博客
11-02 2366
【代码】3D Gaussian Splatting学习记录11.2。
填坑 3D gaussian splatting里SIBR_viewers的安装
gootyking的博客
01-13 5820
那剩下的就是我把这个链接地址给换掉了，反正就是换成了可以访问的到，并且就是要下载的那个资源。因为3DGS生成的模型要跑起来得用到GPU，所以一开始我就只能用它带的viewer，结果装了半天装不上，上篇文章评论里我看大家也遇到了吧。然后再编译，就成功了，安装完，所有的view软件都装在这个目录的install/bin里了。然后不出意外，就编译报错了，就是因为编译过程需要用个插件是github上的，结果下不下来。报错信息里有要下载的链接的关键词， 于是我复制了一下在代码里全局搜了一下找到了对应代码。
Ubuntu20.04+Quadro RTX 5000，3D gaussian环境配置
weixin_44368569的博客
09-10 7050
2020年，NeRF的出现之际引起了轩然大波，出现了大量相关工作。3D gaussian算是新视角生成领域目前的SOTA，可以进行实时的渲染；最大训练速度上可以与Instant相当，且质量差不多；增加迭代次数后，可以显著提高重建质量，在训练时间51min的情况下，重建效果可以稍微超过Mip-NeRF（48h）。这种好东西谁不想学习下呢，所以我们先进行第一步：配置3D gaussian环境。我当前的环境为ubuntu 20.04+Quadro RTX 5000。
实验笔记之——Gaussian Splatting
gwpscut的博客
01-03 5243
之前博客对NeRF-SLAM进行了调研学习笔记之——NeRF SLAM（基于神经辐射场的SLAM）-CSDN博客NeRF 所做的任务是 Novel View Synthesis（新视角合成），即在若干已知视角下对场景进行一系列的观测（相机内外参、图像、Pose 等），合成任意新视角下的图像。传统方法中，通常这一任务采用三维重建再渲染的方式实现，NeRF 希望不进行显式的三维重建过程，仅根据内外参直接得到新视角渲染的图像。
计算机视觉可视化工具SIBR使用方法
最新发布
weixin_72914660的博客
05-28 3529
SIBR详细使用方法
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值