Deforming-NeRF 项目使用教程

Deforming-NeRF 项目使用教程

deforming-nerf Code for "Deforming Radiance Fields with Cages", ECCV 2022. 项目地址: https://gitcode.com/gh_mirrors/de/deforming-nerf

1. 项目介绍

Deforming-NeRF 是一个基于 NeRF（Neural Radiance Fields）的开源项目，旨在通过使用“Cages”技术对辐射场进行变形。该项目由 Tianhan Xu 和 Tatsuya Harada 开发，并在 ECCV 2022 上发表。Deforming-NeRF 允许用户对 3D 场景进行动态变形，并生成相应的渲染图像。

2. 项目快速启动

2.1 环境设置

首先，创建一个 Conda 环境并激活它：

conda env create -f environment.yml
conda activate deforming-nerf

然后安装所有依赖项：

pip install -r requirements.txt

2.2 数据准备

下载所需的 datasets 并将其放置在 /data/ 目录下：

• NeRF-synthetic dataset: 下载链接
• Synthetic-NSVF dataset: 下载链接
• DTU dataset (IDR preprocessed): 下载链接

2.3 下载预训练模型和预处理 cages

从 Google Drive 下载优化的 Plenoxels 模型和预处理的 cages，并将其放置在 /opt/ckpt/ 目录下。

2.4 渲染示例

以 NeRF-synthetic 数据集中的 Lego 为例，运行以下命令：

# 渲染一个静态变形的场景
python render_imgs_deform.py ckpt/nerf_lego/ckpt.npz /data/nerf_synthetic/lego/ -c configs/syn.json

# 渲染基于 cage 插值的动画
python render_imgs_deform.py ckpt/nerf_lego/ckpt.npz /data/nerf_synthetic/lego/ -c configs/syn.json --interpolate --cam_id 64

# 渲染原始场景以进行比较
python render_imgs_deform.py ckpt/nerf_lego/ckpt.npz /data/nerf_synthetic/lego/ -c configs/syn.json --render_orig

3. 应用案例和最佳实践

3.1 应用案例

Deforming-NeRF 可以应用于以下场景：

• 动画制作：通过变形技术生成动态的 3D 动画。
• 虚拟现实：在 VR 环境中实时变形 3D 对象。
• 医学成像：对医学图像进行变形分析。

3.2 最佳实践

• 优化模型：如果遇到安装问题，建议参考 Plenoxels 的原始仓库。
• 自定义数据集：请参考 MANUAL.md 文件中的提示，了解如何从头开始优化 Plenoxel 模型、从优化后的 Plenoxel 模型中提取网格以及生成 cage。

4. 典型生态项目

• Plenoxels：Deforming-NeRF 的基础项目，提供了 NeRF 的优化实现。
• NSVF：用于处理合成数据集的工具，与 Deforming-NeRF 兼容。
• IDR：用于处理 DTU 数据集的工具，提供了预处理的数据集。

通过这些生态项目，Deforming-NeRF 能够更好地与其他工具和数据集集成，提供更丰富的功能和应用场景。

deforming-nerf Code for "Deforming Radiance Fields with Cages", ECCV 2022. 项目地址: https://gitcode.com/gh_mirrors/de/deforming-nerf