Phantom项目安装与配置指南

Phantom项目安装与配置指南

Phantom 项目地址: https://gitcode.com/gh_mirrors/phantom6/Phantom

1. 项目基础介绍

Phantom是一个用于生成视频的开源项目，旨在通过跨模态对齐技术实现主题一致的视频生成。该项目基于现有的文本到视频和图像到视频架构，通过重新设计文本-图像注入模型，使用文本-图像-视频三元数据集来实现模态间的对齐。Phantom框架特别强调在生成人类视频时保持主题一致性，并增强ID保留的视频生成能力。本项目主要使用Python编程语言。

2. 项目使用的关键技术和框架

• 跨模态对齐技术：通过结合文本、图像和视频数据，实现不同模态间的信息对齐。
• 文本-图像注入模型：重新设计的模型，用于处理文本和图像信息的融合。
• 视频生成架构：基于现有的文本到视频和图像到视频生成框架。
• Phantom-Wan模型：项目中的一个具体模型，用于实现视频生成。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统中已安装以下依赖：

• Python 3.8 或更高版本
• pip（Python 包管理器）
• Git（用于克隆项目）

详细安装步骤

1. 克隆项目仓库

   打开命令行窗口，运行以下命令来克隆Phantom项目：

   git clone https://github.com/Phantom-video/Phantom.git
   cd Phantom
   

2. 安装依赖

   在项目目录中，使用pip安装所需的依赖：

   pip install -r requirements.txt
   

3. 下载模型

   根据项目README的指示，使用huggingface-cli下载所需的模型：

   pip install "huggingface_hub[cli]"
   huggingface-cli download Wan-AI/Wan2.1-T2V-1.3B --local-dir ./Wan2.1-T2V-1.3B
   huggingface-cli download bytedance-research/Phantom --local-dir ./Phantom-Wan-1.3B
   

4. 运行示例

   运行以下命令，以单GPU模式进行视频生成示例：

   python generate.py --task s2v-1.3B --size 832x480 --ckpt_dir ./Wan2.1-T2V-1.3B --phantom_ckpt ./Phantom-Wan-1.3B/Phantom-Wan-1.3B.pth --ref_image "examples/ref1.png,examples/ref2.png" --prompt "暖阳漫过草地，扎着双马尾、头戴绿色蝴蝶结、身穿浅绿色连衣裙的小女孩蹲在盛开的雏菊旁。她身旁一只棕白相间的狗狗吐着舌头，毛茸茸尾巴欢快摇晃。小女孩笑着举起黄红配色、带有蓝色按钮的玩具相机，将和狗狗的欢乐瞬间定格。" --base_seed 42
   

   根据需要调整--ref_image和--prompt参数，以生成不同的视频内容。

完成以上步骤后，您应该能够成功运行Phantom项目并生成视频。如果遇到任何问题，请检查项目README文件或相关文档以获取更多信息。

Phantom 项目地址: https://gitcode.com/gh_mirrors/phantom6/Phantom