阿里开源AI视频生成大模型 Wan2.1：14B性能超越Sora、Luma等模型，一键生成复杂运动视频

最新推荐文章于 2025-03-31 23:25:20 发布
最新推荐文章于 2025-03-31 23:25:20 发布
阅读量1.6k 收藏 21
点赞数 33
分类专栏： 每日 AI 项目与应用实例 文章标签： 开源 人工智能 音视频 人工智能开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19841021/article/details/145890639
版权

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎥 “阿里开源AI视频生成神器Wan2.1：文生视频、图生视频全搞定，性能超越Sora！”

大家好，我是蚝油菜花。你是否也遇到过——

  • 👉 想制作创意视频，但缺乏专业的视频制作技能？
  • 👉 需要生成复杂的动画场景，但时间和成本有限？
  • 👉 想快速生成广告或教育视频，但找不到合适的工具？

今天揭秘的 Wan2.1，是阿里云开源的一款AI视频生成大模型，支持文生视频和图生视频任务，具备强大的视觉生成能力。无论是复杂的运动生成，还是物理规律的精准模拟，Wan2.1都能轻松应对。

14B参数的专业版Wan2.1模型在Vbench评测中以86.22%的成绩超越Sora、Luma等国内外模型，稳居榜首。1.3B参数的极速版则能在消费级显卡上运行，显存需求低，适合二次开发和学术研究。接下来，我们将深入解析Wan2.1的核心功能和技术原理，手把手教你如何运行这款强大的AI视频生成工具！

🚀 快速阅读

Wan2.1是阿里云开源的一款AI视频生成大模型，支持文生视频和图生视频任务。

  1. 核心功能：支持文生视频、图生视频、复杂运动生成、物理规律模拟、多风格生成和文字特效生成。
  2. 技术原理：基于因果3D VAE和视频Diffusion Transformer架构，实现高效时空压缩和长时程依赖建模。

Wan2.1 是什么

Wan2.1

Wan2.1是阿里云开源的一款AI视频生成大模型，具备强大的视觉生成能力。它支持文生视频和图生视频任务，包含两种尺寸的模型：14B参数的专业版擅长复杂运动生成和物理建模，性能卓越；1.3B参数的极速版能在消费级显卡上运行，显存需求低，适合二次开发和学术研究。

Wan2.1-cover-vben_vs_sota

Wan2.1模型基于因果3D VAE和视频Diffusion Transformer架构，实现高效时空压缩和长时程依赖建模。14B版本在权威评测集Vbench中，以总分86.22%大幅超越Sora、Luma、Pika等国内外模型，稳居榜首位置。Wan2.1开源采用Apache 2.0协议，支持多种主流框架，已在GitHub、HuggingFace和魔搭社区上线，方便开发者使用和部署。

Wan2.1 的主要功能

  • 文生视频：根据输入的文本描述生成对应的视频内容，支持中英文长文本指令，精准还原场景切换和角色互动。
  • 图生视频：以图像为基础生成视频，实现更可控的创作，适合从静态图像扩展为动态视频的需求。
  • 复杂运动生成：稳定展现人物或物体的复杂运动，如旋转、跳跃、转身等，支持高级运镜控制。
  • 物理规律模拟：精准还原碰撞、反弹、切割等真实物理场景，生成符合物理规律的视频内容。
  • 多风格生成：支持多种视频风格和质感，适配不同创作需求，同时支持不同长宽比的视频输出。
  • 文字特效生成：具备中文文字生成能力，支持中英文文字特效，提升视频的视觉表现力。

Wan2.1 的技术原理

Wan2.1-video_vae_res

  • 因果3D VAE（Variational Autoencoder）架构：万相自研专为视频生成设计的因果3D VAE架构。基于编码器将输入数据压缩为潜在空间的表示，再用解码器重建输出。在视频生成中，3D VAE能处理视频中的时空信息，同时结合因果性约束，确保视频生成的连贯性和逻辑性。
  • 视频Diffusion Transformer架构：基于主流的视频Diffusion（扩散模型）和Transformer架构。扩散模型逐步去除噪声生成数据，Transformer基于自注意力机制（Attention）捕捉长时程依赖关系。
  • 模型训练和推理优化：
    • 训练阶段：用DP（数据并行）和FSDP（全Sharded数据并行）组合的分布式策略，加速文本和视频编码模块的训练。对于Diffusion模块，基于DP、FSDP、RingAttention和Ulysses混合的并行策略，进一步提升训练效率。
    • 推理阶段：用CP（通道并行）进行分布式加速，减少生成单个视频的延迟。对于大模型，基于模型切分技术，进一步优化推理效率。

如何运行 Wan2.1

安装

克隆仓库：

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1

安装依赖：

# 确保 torch >= 2.4.0
pip install -r requirements.txt

模型下载

模型备注
T2V-14B支持480P和720P
I2V-14B-720P支持720P
I2V-14B-480P支持480P
T2V-1.3B支持480P

使用huggingface-cli下载模型：

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

运行文生视频生成

1. 不使用提示扩展

  • 单GPU推理
python generate.py  --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "两只拟人化的猫穿着舒适的拳击装备和明亮的手套在聚光灯下的舞台上激烈战斗。"
  • 多GPU推理（使用FSDP + xDiT USP）
pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "两只拟人化的猫穿着舒适的拳击装备和明亮的手套在聚光灯下的舞台上激烈战斗。"

2. 使用提示扩展

  • 使用Dashscope API进行扩展
DASH_API_KEY=your_key python generate.py  --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "两只拟人化的猫穿着舒适的拳击装备和明亮的手套在聚光灯下的舞台上激烈战斗" --use_prompt_extend --prompt_extend_method 'dashscope' --prompt_extend_target_lang 'ch'
  • 使用本地模型进行扩展
python generate.py  --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "两只拟人化的猫穿着舒适的拳击装备和明亮的手套在聚光灯下的舞台上激烈战斗" --use_prompt_extend --prompt_extend_method 'local_qwen' --prompt_extend_target_lang 'ch'

3. 运行本地Gradio

cd gradio
# 如果使用Dashscope API进行提示扩展
DASH_API_KEY=your_key python t2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir ./Wan2.1-T2V-14B

# 如果使用本地模型进行提示扩展
python t2v_14B_singleGPU.py --prompt_extend_method 'local_qwen' --ckpt_dir ./Wan2.1-T2V-14B

运行图生视频生成

1. 不使用提示扩展

  • 单GPU推理
python generate.py --task i2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-I2V-14B-720P --image examples/i2v_input.JPG --prompt "夏日海滩度假风格，一只戴着太阳镜的白猫坐在冲浪板上。毛茸茸的猫科动物直视镜头，表情放松。模糊的海滩风景形成了背景，展示了清澈的海水、远处的绿色山丘和点缀着白云的蓝天。猫呈现出自然放松的姿态，仿佛在享受海风和温暖的阳光。特写镜头突出了猫的复杂细节和海边的清新氛围。"
  • 多GPU推理（使用FSDP + xDiT USP）
pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py --task i2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-I2V-14B-720P --image examples/i2v_input.JPG --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "夏日海滩度假风格，一只戴着太阳镜的白猫坐在冲浪板上。毛茸茸的猫科动物直视镜头，表情放松。模糊的海滩风景形成了背景，展示了清澈的海水、远处的绿色山丘和点缀着白云的蓝天。猫呈现出自然放松的姿态，仿佛在享受海风和温暖的阳光。特写镜头突出了猫的复杂细节和海边的清新氛围。"

2. 使用提示扩展

  • 使用本地模型进行扩展
python generate.py --task i2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-I2V-14B-720P --image examples/i2v_input.JPG --use_prompt_extend --prompt_extend_model Qwen/Qwen2.5-VL-7B-Instruct --prompt "夏日海滩度假风格，一只戴着太阳镜的白猫坐在冲浪板上。毛茸茸的猫科动物直视镜头，表情放松。模糊的海滩风景形成了背景，展示了清澈的海水、远处的绿色山丘和点缀着白云的蓝天。猫呈现出自然放松的姿态，仿佛在享受海风和温暖的阳光。特写镜头突出了猫的复杂细节和海边的清新氛围。"
  • 使用Dashscope API进行扩展
DASH_API_KEY=your_key python generate.py --task i2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-I2V-14B-720P --image examples/i2v_input.JPG --use_prompt_extend --prompt_extend_method 'dashscope' --prompt "夏日海滩度假风格，一只戴着太阳镜的白猫坐在冲浪板上。毛茸茸的猫科动物直视镜头，表情放松。模糊的海滩风景形成了背景，展示了清澈的海水、远处的绿色山丘和点缀着白云的蓝天。猫呈现出自然放松的姿态，仿佛在享受海风和温暖的阳光。特写镜头突出了猫的复杂细节和海边的清新氛围。"

3. 运行本地Gradio

cd gradio
# 如果仅使用480P模型
DASH_API_KEY=your_key python i2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir_480p ./Wan2.1-I2V-14B-480P

# 如果仅使用720P模型
DASH_API_KEY=your_key python i2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir_720p ./Wan2.1-I2V-14B-720P

# 如果同时使用480P和720P模型
DASH_API_KEY=your_key python i2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir_480p ./Wan2.1-I2V-14B-480P --ckpt_dir_720p ./Wan2.1-I2V-14B-720P

运行文生图生成

1. 不使用提示扩展

  • 单GPU推理
python generate.py --task t2i-14B --size 1024*1024 --ckpt_dir ./Wan2.1-T2V-14B  --prompt '一个朴素端庄的美人'
  • 多GPU推理（使用FSDP + xDiT USP）
torchrun --nproc_per_node=8 generate.py --dit_fsdp --t5_fsdp --ulysses_size 8 --base_seed 0 --frame_num 1 --task t2i-14B  --size 1024*1024 --prompt '一个朴素端庄的美人' --ckpt_dir ./Wan2.1-T2V-14B

2. 使用提示扩展

  • 单GPU推理
python generate.py --task t2i-14B --size 1024*1024 --ckpt_dir ./Wan2.1-T2V-14B  --prompt '一个朴素端庄的美人' --use_prompt_extend
  • 多GPU推理（使用FSDP + xDiT USP）
torchrun --nproc_per_node=8 generate.py --dit_fsdp --t5_fsdp --ulysses_size 8 --base_seed 0 --frame_num 1 --task t2i-14B  --size 1024*1024 --ckpt_dir ./Wan2.1-T2V-14B --prompt '一个朴素端庄的美人' --use_prompt_extend

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

开源文生视频模型：通义万相2.1-文生视频-14B 详情介绍与使用
zhangjiaofa的专栏
02-26 1081
Wan2.1 是一个全面且开放的视频基础模型套件，它在视频生成方面突破了现有技术的边界。Wan2.1 提供了一系列关键特性，使其在多个基准测试中持续超越现有的开源模型和最先进的商业解决方案。Wan2.1 是基于主流扩散变压器范式设计的，通过一系列创新在生成能力上取得了显著进步。这些创新包括我们新颖的时空变分自编码器（VAE）、可扩展的训练策略、大规模数据构建以及自动评估指标。总体而言，这些贡献提升了模型的性能和多功能性。
原理和代码解读：通义万相 WanX 2.1 视频生成模型
沉迷单车的追风少年
02-26 1291
昨晚通义万相 WanX 2.1开源了，在多个指标上超越了sora、可灵、runway、hunyuan等模型。但是生成类的任务不能仅仅只看指标，实际的效果怎样？WanX 2.1 的技术架构是怎样的？有哪些技术改进？如何从T2V改造成I2V的模型的？这篇博客从原理和代码上详细解读这些问题。
Wan 2.1 本地部署教程！
ARLULUHUB的博客
03-14 4243
大家好！今天我要给大家介绍一款真正突破视频生成极限的开源AI大模型——。这款模型不仅完全免费，还能在普通电脑上离线运行，生成高质量的视频内容。无论你是想用文字生成视频，还是将图片转化为动态画面，Wan 2.1都能轻松搞定。更令人震撼的是，它在微半级榜单（VBench）上稳居第一，性能表现堪称无敌！
LTX Video：Lightricks推出的开源AI视频生成模型
士多啤梨先生の博客
11-27 1414
LTX Video是由Lightricks推出的开源AI视频生成模型，能够在4秒内生成5秒的高质量视频。该模型基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，支持长视频制作，适用于多种场景，如游戏图形升级和电子商务广告变体制作。
阿里WAN2.1视频生成神器WanVideoWrapper安装指南，手把手教你搞定Triton和SageAttention
m0_71745754的博客
03-17 2595
大家好，最近阿里的通义万相WAN2.1特别火，有很多程序猿开发了WAN2.1基于comfyui的视频生成节点，在众多支持WAN2.1的comfyui节点中，又以kijai大神开发的ComfyUI-WanVideoWrapper节点的生吃视频质量最好，功能最多，更新最快。由于kijai大神为了使ComfyUI-WanVideoWrapper能够快速生成高质量视频，而且尽可能地降低对系统要求的门槛，使用了比较多的新技术。
阿里通义万相2.1(WAN2.1)开源文生视频大模型-1.3B-单卡24G实测
showker的专栏
02-26 3248
提示词为“Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage”，翻译成中文为“两只身穿舒适拳击装备和戴着鲜艳手套的拟人化猫在聚光灯下的舞台上激烈地打斗。3、clone完毕后，所需依赖安装好后，使用modelscope命令下载模型到本地。2、启动后，执行官方QuickStart，拉取git项目，安装依赖。执行过程中，观察GPU峰值，32GB基本100%。
大模型应用—超强的AI 视频生成模型！完全免费开源，生成质量极高！
CSDN_430422的博客
12-24 2602
大模型应用—超强的AI 视频生成模型！完全免费开源，生成质量极高
通义万相Wan2.1视频模型开源！视频生成模型新标杆，附带体验网址和搭建教程
ntrybw的博客
02-28 1138
劲爆消息，通义万相Wan2.1，我感觉是视屏生产的deepseek王炸吧，这次是阿里的大模型，打败sora，牛！先给一个体验网址吧，我自己就先在线感受了一下，感觉很不错（还在下载中，在线实在是有点慢）汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。如果要搭建的话，打开模型地址，我这里给魔塔的链接，点击下载模型，自取。目前还没有探索，等下载下来，我尝试游戏微调，再进行一个探索。
【Windows】Wan 2.1 视频生成模型本地部署
m0_59806124的博客
03-10 2285
本次尝试了一下，Wan2.1 的环境搭建，由于自己的硬件环境有限，没有搭建图生视频的步骤。这里验证了文生视频的效果，相比于之前的文生图，Wan2.1 模型对汉字支持比较好。来源于网络，分享于网络。希望我的文档对你有帮助。
《解锁万相2.1大模型：开启视频创作新世界》：此文为AI自动生成
zheng_ruiguo的专栏
03-02 1677
万相 2.1 大模型的出现，无疑为 AI 视频生成领域带来了一场深刻的变革。通过前面的介绍，我们深入了解了它的使用方法，从前期的环境搭建，到实操过程中的文生视频、图生视频创作，再到通过技巧优化提升视频质量，以及在多个场景下的广泛应用，万相 2.1 展现出了强大的功能和潜力。在使用过程中，万相 2.1 的操作流程虽然涉及到一些技术细节，但对于有一定技术基础的开发者和创作者来说，通过官方提供的详细文档和教程，能够快速上手并发挥其优势。
有哪些开源的视频生成模型
最新发布
kcarly的专栏
03-31 1020
这些模型的开源降低了AI视频生成门槛，推动了多领域创新，未来将进一步缩小与闭源模型的差距。
阿里通义千问AI模型目前最强的开源中文大语言模型（下载地址）.txt
10-17
通义千问-14B（Qwen-14B） 是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络...
Wan 2.1 本地部署教程（附视频教程）直接在 ComfyUI 中运行 完全免费开源
weixin_74013176的博客
03-10 2233
WAN2.1 是一套全面开放的视频生成模型，它突破了视频生成的界限。请注意，此示例仅生成 512×512 的 33 帧，因为我希望它易于访问，但模型可以做的不止这些。
阿里发布新开源视频生成模型Wan-Video, 支持文生图和图生图,最低6G就能跑, ComfyUI可用!
A2421417624的博客
03-06 1218
Wan-Video 模型介绍：包括 Wan-Video-1.3B-T2V 和 Wan-Video-14B-T2V 两个版本，分别支持文本到视频（T2V）和图像到视频（I2V）生成。14B 版本需要更高的 VRAM 配置。
阿里发布新开源视频生成模型Wan-Video,支持文生图和图生图,最低6G就能跑,ComFyUI可用!
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-09 2205
I2V-14B 模型的表现超越了领先的闭源模型以及所有现有的开源模型，达到了 SOTA 性能。它能够根据输入的文本和图像生成展示复杂视觉场景和运动模式的视频，包括 480P 和 720P 分辨率的模型。
ComfyUI报错（WanVideoModelLoader：Can‘t import SageAttention: No module named ‘sageattention‘）
qq_42763564的博客
02-28 3427
ComfyUI报错（WanVideoModelLoader：Can't import SageAttention: No module named 'sageattention'）
ComfyUI报错/WanVideoSampler：torch._scaled_mm is only supported on CUDA devices with compute capability
qq_42763564的博客
02-28 1066
ComfyUI报错/WanVideoSampler：torch._scaled_mm is only supported on CUDA devices with compute capability >= 9.0 or 8.9, or ROCm MI300+
ComfyUI-WanVideoStartEndFrames：视频生成新篇章，引领帧控制新潮流
gitblog_00977的博客
03-28 625
ComfyUI-WanVideoStartEndFrames：视频生成新篇章，引领帧控制新潮流 ComfyUI-WanVideoStartEndFrames Start and end frames video generation nodes based on the modified Kijai version Wa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值