CameraCtrl 开源项目教程

CameraCtrl 开源项目教程

CameraCtrl 项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrl

1. 项目介绍

CameraCtrl 是一个开源项目，旨在为视频扩散模型提供精确的相机姿态控制。通过引入 CameraCtrl，用户可以更精确地控制视频生成过程中的相机轨迹，从而实现动态和定制化的视频故事叙述。该项目由 Hao He、Yinghao Xu、Yuwei Guo、Gordon Wetzstein、Bo Dai、Hongsheng Li 和 Ceyuan Yang 共同开发，并得到了香港中文大学、上海人工智能实验室和斯坦福大学的支持。

CameraCtrl 的核心功能包括：

• 精确的相机姿态控制
• 插拔式的相机姿态控制模块
• 对不同训练数据集的全面研究

2. 项目快速启动

环境配置

首先，确保你的环境满足以下要求：

• 64 位 Python 3.10 及以上版本
• PyTorch 1.13.0 及以上版本
• CUDA 11.7

使用以下命令安装所需的包：

conda env create -f environment.yaml
conda activate cameractrl

数据准备

下载相机轨迹和视频数据集 RealEstate10K，并使用以下脚本处理数据：

python tools/gather_realestate.py
python tools/get_realestate_clips.py
python tools/generate_realestate_json.py

模型准备

下载 Stable Diffusion V1.5 (SD1.5) 模型和 AnimateDiffV3 (ADV3) 适配器及运动模块的预训练权重。使用以下脚本合并 ADV3 适配器权重：

python tools/merge_lora2unet.py

推理示例

使用以下命令进行视频生成：

python -m torch.distributed.launch --nproc_per_node=8 --master_port=25000 inference.py \
  --out_root [OUTPUT_PATH] \
  --ori_model_path [SD1.5_PATH] \
  --unet_subfolder [SUBFOLDER_NAME] \
  --motion_module_ckpt [ADV3_MM_CKPT] \
  --pose_adaptor_ckpt [CAMERACTRL_CKPT] \
  --model_config configs/train_cameractrl/adv3_256_384_cameractrl_relora.yaml \
  --visualization_captions assets/cameractrl_prompts.json \
  --use_specific_seeds \
  --trajectory_file assets/pose_files/0f47577ab3441480.txt \
  --n_procs 8

3. 应用案例和最佳实践

应用案例

CameraCtrl 可以应用于多种场景，包括但不限于：

• 电影和视频制作中的动态相机控制
• 虚拟现实和增强现实中的相机轨迹生成
• 教育和培训中的动态视频内容生成

最佳实践

• 数据集选择：选择具有多样相机分布和与基础模型相似外观的视频数据集，以增强控制性和泛化能力。
• 模型训练：在训练相机控制模型时，确保使用高质量的预训练模型和适当的数据增强技术。
• 推理优化：在推理过程中，使用多进程和分布式计算来提高生成效率。

4. 典型生态项目

• AnimateDiff：CameraCtrl 与 AnimateDiff 项目紧密结合，提供了更强大的视频生成能力。
• Stable Diffusion：CameraCtrl 基于 Stable Diffusion 模型，进一步增强了视频生成的控制性。
• RealEstate10K：该项目的数据集为 CameraCtrl 提供了丰富的相机轨迹和视频数据，是训练和测试的重要资源。

通过以上模块的介绍，您可以快速上手 CameraCtrl 项目，并了解其在实际应用中的潜力和最佳实践。

CameraCtrl 项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrl