MonoScene 项目使用教程

MonoScene 项目使用教程

MonoScene[CVPR 2022] "MonoScene: Monocular 3D Semantic Scene Completion": 3D Semantic Occupancy Prediction from a single image项目地址:https://gitcode.com/gh_mirrors/mo/MonoScene

项目介绍

MonoScene 是一个用于单目 3D 语义场景完成（3D Semantic Scene Completion, SSC）的开源框架。该项目由 Anh-Quan Cao 和 Raoul de Charette 开发，并在 CVPR 2022 上发表。MonoScene 能够从单个 RGB 图像中推断出场景的密集几何和语义信息，解决了从 2D 到 3D 场景重建的复杂问题，同时联合推断其语义。

项目快速启动

环境准备

首先，创建并激活一个 conda 环境：

conda create -y -n monoscene python=3.7
conda activate monoscene

安装依赖

安装 PyTorch 和其他依赖：

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch
cd MonoScene/
pip install -r requirements.txt
conda install -c bioconda tbb=2020.2
pip install torchmetrics==0.6.0

安装 MonoScene

最后，安装 MonoScene：

pip install -e .

应用案例和最佳实践

数据集准备

下载 SemanticKITTI 数据集：

# 下载 Semantic Scene Completion dataset v1.1 (SemanticKITTI voxel data)

训练模型

使用以下命令开始训练：

# 训练命令示例
python train.py --config config/semantic_kitti.yaml

评估模型

训练完成后，可以使用以下命令进行评估：

# 评估命令示例
python evaluate.py --config config/semantic_kitti.yaml

典型生态项目

PaSCo: Urban 3D Panoptic Scene Completion

PaSCo 是一个与 MonoScene 相关的项目，专注于城市 3D 全景场景完成，具有不确定性意识。

其他相机仅 3D 占用预测项目

还有一些其他项目专注于相机仅 3D 占用预测，这些项目与 MonoScene 在技术和应用场景上有所重叠，可以作为参考和扩展。

通过以上步骤，您可以快速启动并使用 MonoScene 项目，进行 3D 语义场景完成的研究和开发。

MonoScene[CVPR 2022] "MonoScene: Monocular 3D Semantic Scene Completion": 3D Semantic Occupancy Prediction from a single image项目地址:https://gitcode.com/gh_mirrors/mo/MonoScene