MagicAnimate 安装和配置指南

MagicAnimate 安装和配置指南

magic-animate MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model 项目地址: https://gitcode.com/gh_mirrors/ma/magic-animate

1. 项目基础介绍和主要编程语言

项目介绍

MagicAnimate 是一个基于扩散模型（Diffusion Model）的人类图像动画框架，旨在增强时间一致性，忠实地保留参考图像，并提高动画的逼真度。该项目由新加坡国立大学和字节跳动联合开发，计划在 CVPR 2024 上发表。

主要编程语言

该项目主要使用 Python 语言进行开发。

2. 项目使用的关键技术和框架

关键技术

• 扩散模型（Diffusion Model）：用于生成时间一致的人类图像动画。
• StableDiffusion V1.5：预训练的基础模型。
• MSE-finetuned VAE：用于图像生成。

主要框架

• PyTorch：用于深度学习模型的训练和推理。
• Gradio：用于创建交互式演示和本地测试。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 版本：>= 3.8
• CUDA 版本：>= 11.3
• FFmpeg：用于视频处理

安装步骤

1. 克隆项目仓库

首先，从 GitHub 克隆 MagicAnimate 项目到本地：

git clone https://github.com/magic-research/magic-animate.git
cd magic-animate

2. 安装依赖

您可以使用 conda 或 pip 来安装项目的依赖。

使用 Conda 安装：

conda env create -f environment.yaml
conda activate manimate

使用 Pip 安装：

pip3 install -r requirements.txt

3. 下载预训练模型和检查点

MagicAnimate 需要一些预训练的模型和检查点。请按照以下步骤下载并放置它们：

1. 下载预训练模型：

   • StableDiffusion V1.5
   • MSE-finetuned VAE

2. 下载 MagicAnimate 检查点：

   • 请参考项目的 README 文件中的下载链接，并按照指示下载所需的检查点。

3. 放置模型和检查点： 将下载的模型和检查点放置在项目的 pretrained_models 目录下，结构如下：

   magic-animate
   ├── pretrained_models
   │   ├── MagicAnimate
   │   │   ├── appearance_encoder
   │   │   ├── diffusion_pytorch_model.safetensors
   │   │   ├── config.json
   │   │   ├── densepose_controlnet
   │   │   ├── temporal_attention
   │   │   ├── sd-vae-ft-mse
   │   │   ├── stable-diffusion-v1-5
   │   │   ├── scheduler
   │   │   ├── text_encoder
   │   │   ├── unet
   │   │   ├── v1-5-pruned-emaonly.safetensors
   

4. 运行推理

您可以在单个 GPU 或多 GPU 上运行推理。

单 GPU 推理：

bash scripts/animate.sh

多 GPU 推理：

bash scripts/animate_dist.sh

5. 启动 Gradio 演示

您可以启动本地 Gradio 演示来测试 MagicAnimate 的功能。

单 GPU 启动 Gradio 演示：

python3 -m demo.gradio_animate

多 GPU 启动 Gradio 演示：

python3 -m demo.gradio_animate_dist

启动后，打开浏览器并访问 http://localhost:7860 即可查看 Gradio 演示界面。

总结

通过以上步骤，您已经成功安装并配置了 MagicAnimate 项目。现在您可以开始使用这个强大的工具来生成时间一致的人类图像动画了。

magic-animate MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model 项目地址: https://gitcode.com/gh_mirrors/ma/magic-animate