自回归去噪视频生成模型：MAGI-1 解读

MAGI-1 模型解读

一、模型概述

MAGI-1 是一种新型自回归去噪视频生成模型，采用基于扩散变换器的架构，可分块（每块 24 帧）生成视频。它通过训练来去除每块随时间单调递增的噪声，从而实现因果时间建模，支持流式生成，且在基于文本指令的图像到视频（I2V）任务中表现出强大的性能，具有高度的时间一致性与可扩展性。

二、技术亮点

1. 模型架构 ：基于变分自编码器（VAE）与变换器，实现空间 8 倍和时间 4 倍的压缩。采用自回归去噪算法，以分块方式生成视频，每块 24 帧，当前块达到一定去噪程度后开始生成下一块，支持并行处理多达 4 块，提升视频生成效率。

2. 关键创新 ：在扩散变换器基础上，引入块因果注意力、并行注意力块、QK 规范化和 GQA、FFN 中的三明治归一化、SwiGLU 和 Softcap 调制等创新，增强大规模训练效率与稳定性。采用快捷蒸馏方法，训练单个基于速度的模型以支持多种推理预算，通过强制自一致性约束，使模型能跨多种步长近似流匹配轨迹，训练时步长从 {64,32,16,8} 循环采样，并融入分类器自由引导蒸馏，以保留条件对齐，实现高效推理且保真度高。

3. 性能表现 ：在开源模型中达到顶尖性能，超越 Wan-2.1 等模型，在遵循指令和运动质量方面表现出色，有望成为与 Kling 等封闭源商业模型竞争的强大对手。在物理行为预测的视频续写任务中，凭借自回归架构优势，精度远超现有模型。

三、模型运行

提供两种运行方式，推荐使用 Docker 环境。需先准备环境，通过拉取 sandai/magi 最新镜像并运行容器，再创建新环境，安装 pytorch、其他依赖及 ffmpeg，还需安装 MagiAttention。运行 MagiPipeline 时，可通过修改 example/24B/run.sh 或 example/4.5B/run.sh 脚本中的参数控制输入输出，如 --config_file 指定配置文件路径，–mode 规定操作模式（t2v、i2v、v2v），–prompt 为文本提示，–image_path 用于 i2v 模式下的图像文件路径，–prefix_video_path 用于 v2v 模式下的前缀视频文件路径，–output_path 为生成视频保存路径。

四、核心技术总结