Mochi 1 开源视频生成模型教程

Mochi 1 开源视频生成模型教程

mochi The best OSS video generation models 项目地址: https://gitcode.com/gh_mirrors/mochi9/mochi

1. 项目介绍

Mochi 1 是由 Genmo Team 开发的一款开源视频生成模型。它基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构，是一个拥有 10 亿参数的扩散模型，能够生成高质量的视频内容。Mochi 1 通过其独特的非对称架构，优化了文本和视觉的处理能力，使得生成的视频具有高保真的动作和强烈的提示遵守性。此模型适用于多种应用场景，包括但不限于内容创作、娱乐和艺术展示。

2. 项目快速启动

环境搭建

首先，确保您的系统中安装了以下依赖：

• Python 3.x
• pip
• FFMPEG

然后，通过以下步骤安装 Mochi 1：

git clone https://github.com/genmoai/models
cd models
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install setuptools
uv pip install -e . --no-build-isolation

若需要安装快速注意机制（flash attention），可以使用以下命令：

uv pip install -e .[flash] --no-build-isolation

下载模型权重

使用以下脚本下载模型和 VAE 权重：

python3 ./scripts/download_weights.py weights/

或者直接下载权重文件到本地文件夹。

运行模型

启动 gradio UI：

python3 ./demos/gradio_ui.py --model_dir weights/ --cpu_offload

或者直接从命令行生成视频：

python3 ./demos/cli.py --model_dir weights/ --cpu_offload

如果使用了 LoRA 微调，可以添加 --lora_path <path/to/my_mochi_lora.safetensors> 参数。

3. 应用案例和最佳实践

• 内容创作：使用 Mochi 1 生成独特的视频内容，适用于社交媒体、广告或艺术作品。
• 风格转换：利用模型微调功能，将现有视频转换为不同的视觉风格。
• 动画制作：虽然模型针对真人视频优化，但社区成员可以尝试制作动画内容。

4. 典型生态项目

• ComfyUI-MochiWrapper：为 Mochi 1 提供了 ComfyUI 支持。
• ComfyUI-MochiEdit：增加了视频编辑功能，如对象插入和风格重置。
• mochi-xdit：通过 xDiT 提高了并行推理速度的分支版本。

以上就是 Mochi 1 开源视频生成模型的简要教程。祝您使用愉快！

mochi The best OSS video generation models 项目地址: https://gitcode.com/gh_mirrors/mochi9/mochi