Fillerbuster: 多视角场景补全的最佳实践教程

Fillerbuster: 多视角场景补全的最佳实践教程

fillerbuster Fillerbuster: Multi-View Scene Completion for Casual Captures 项目地址: https://gitcode.com/gh_mirrors/fi/fillerbuster

1. 项目介绍

Fillerbuster 是一个用于解决多种场景补全任务的多视角扩散模型。该模型从零开始训练，能够处理日常捕获的场景中的缺失部分，提供高质量的图像补全效果。Fillerbuster 的目标是填补那些因为相机视角限制或遮挡而无法看到的场景部分。

2. 项目快速启动

要开始使用 Fillerbuster，您需要按照以下步骤设置开发环境：

# 创建并激活 fillerbuster 环境
conda create -n fillerbuster python=3.10 -y
conda activate fillerbuster

# 安装依赖
pip install torch torchvision --index-url https://download.pytorch.org/whl/124
pip install -e .

接下来，下载模型权重和推理所需的数据：

• 从释放的文件夹中下载 Fillerbuster 权重，并将其放置在 checkpoints 文件夹中。
• 下载 CLIP 权重到 checkpoints 文件夹。
• 下载其他工作的数据集，如 LERF、Nerfbusters、NeRFiller 和 Nerfstudio，并将数据解压到指定的 data 文件夹。

最后，运行示例推理脚本 demo.ipynb 来查看模型效果。

3. 应用案例和最佳实践

以下是几个使用 Fillerbuster 的应用案例和最佳实践：

完成日常捕获的场景

使用以下命令来补全 Nerfbusters 数据集中的场景：

ns-train fillerbuster --data data/nerfbusters-dataset/picnic --output-dir outputs/nerfstudio-outputs nerfstudio-data --eval-mode filename

无校准场景补全

对于视频数据，可以使用以下脚本进行无校准场景补全：

python fillerbuster/scripts/run_uncalibrated_scene_completion.py --data data/videos/couch.mov --output-dir outputs/uncalibrated-outputs

补全被遮挡的3D区域

对于 NeRFiller 数据集，可以使用以下命令来补全被遮挡的3D区域：

ns-train fillerbuster --data data/nerfiller-dataset/billiards --output-dir outputs/nerfstudio-outputs --pipeline.inpainter nerfiller --pipeline.dilate-iters 5 --pipeline.context-size 32 --pipeline.densify-num 0 --pipeline.anchor-rotation-num 0 --pipeline.anchor-vertical-num 0

4. 典型生态项目

Fillerbuster 的生态项目包括但不限于以下几种：

• 数据集: LERF、Nerfbusters、NeRFiller 和 Nerfstudio 等数据集为 Fillerbuster 提供了丰富的训练和测试数据。
• 工具和库: 如 diffusers、nerfstudio、torchmetrics 和 transformers 等开源库和工具为 Fillerbuster 提供了底层支持和功能扩展。
• 社区贡献: 开发者和使用者通过 GitHub 提交的 issue 和 pull request 为 Fillerbuster 的改进和优化提供了动力。

通过遵循以上最佳实践，您可以更有效地利用 Fillerbuster 来完成您的场景补全任务。

fillerbuster Fillerbuster: Multi-View Scene Completion for Casual Captures 项目地址: https://gitcode.com/gh_mirrors/fi/fillerbuster