VideoComposer 项目使用教程

VideoComposer 项目使用教程

videocomposer Official repo for VideoComposer: Compositional Video Synthesis with Motion Controllability 项目地址: https://gitcode.com/gh_mirrors/vi/videocomposer

1. 项目目录结构及介绍

videocomposer/
├── configs/
│   ├── exp01_vidcomposer_full.yaml
│   ├── exp02_motion_transfer.yaml
│   ├── exp03_sketch2video_style.yaml
│   ├── exp04_sketch2video_wo_style.yaml
│   ├── exp05_text_depths_wo_style.yaml
│   └── exp06_text_depths_vs_style.yaml
├── demo_video/
│   ├── blackswan.mp4
│   ├── moon_on_water.jpg
│   ├── motion_transfer.mp4
│   ├── src_single_sketch.png
│   └── style/
│       └── qibaishi_01.png
├── model_weights/
│   ├── non_ema_228000.pth
│   ├── midas_v3_dpt_large.pth
│   ├── open_clip_pytorch_model.bin
│   ├── sketch_simplification_gan.pth
│   ├── table5_pidinet.pth
│   └── v2-1_512-ema-pruned.ckpt
├── source/
├── tools/
├── utils/
├── .gitignore
├── LICENSE
├── README.md
├── environment.yaml
├── gen_sketch.py
├── run_bash.sh
└── run_net.py

目录结构介绍

• configs/: 包含项目的配置文件，用于定义不同的实验配置。
• demo_video/: 包含示例视频和图像文件，用于演示和测试。
• model_weights/: 包含预训练模型的权重文件。
• source/: 可能包含项目的源代码文件。
• tools/: 可能包含一些工具脚本。
• utils/: 可能包含一些实用函数和工具。
• .gitignore: Git 忽略文件列表。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• environment.yaml: 项目依赖环境配置文件。
• gen_sketch.py: 生成草图的脚本。
• run_bash.sh: 运行项目的 Bash 脚本。
• run_net.py: 项目的启动文件，用于运行模型。

2. 项目的启动文件介绍

run_net.py

run_net.py 是项目的启动文件，用于执行视频生成的任务。它支持多种输入条件，如文本描述、草图序列、参考视频等，并根据配置文件中的设置生成视频。

使用示例

python run_net.py \
  --cfg configs/exp01_vidcomposer_full.yaml \
  --input_video "demo_video/blackswan.mp4" \
  --input_text_desc "A black swan swam in the water" \
  --seed 9999

参数说明

• --cfg: 指定配置文件路径。
• --input_video: 输入视频文件路径。
• --input_text_desc: 输入文本描述。
• --seed: 随机种子，用于控制生成结果的随机性。

3. 项目的配置文件介绍

configs/exp01_vidcomposer_full.yaml

该配置文件用于定义完整的视频生成任务，包括视频的深度、草图和运动向量的提取。

配置文件示例

# 配置文件示例
task: vidcomposer_full
input_video: demo_video/blackswan.mp4
input_text_desc: A black swan swam in the water
seed: 9999

配置文件参数说明

• task: 任务类型，如 vidcomposer_full。
• input_video: 输入视频文件路径。
• input_text_desc: 输入文本描述。
• seed: 随机种子。

configs/exp02_motion_transfer.yaml

该配置文件用于定义运动转移任务，将一个视频的运动转移到另一个图像上。

配置文件示例

# 配置文件示例
task: motion_transfer
input_video: demo_video/motion_transfer.mp4
image_path: demo_video/moon_on_water.jpg
input_text_desc: A beautiful big moon on the water at night
seed: 9999

配置文件参数说明

• task: 任务类型，如 motion_transfer。
• input_video: 输入视频文件路径。
• image_path: 输入图像文件路径。
• input_text_desc: 输入文本描述。
• seed: 随机种子。

通过以上配置文件，用户可以根据不同的任务需求生成相应的视频。

videocomposer Official repo for VideoComposer: Compositional Video Synthesis with Motion Controllability 项目地址: https://gitcode.com/gh_mirrors/vi/videocomposer