原理和代码解读：通义万相 WanX 2.1 视频生成模型

已于 2025-02-26 16:31:50 修改
阅读量1.2k 收藏 5
点赞数 5
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 计算机视觉 人工智能
于 2025-02-26 15:19:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/145877044
版权

Diffusion models代码解读：入门与实战

前言：昨晚通义万相 WanX 2.1开源了，在多个指标上超越了sora、可灵、runway、hunyuan等模型。但是生成类的任务不能仅仅只看指标，实际的效果怎样？WanX 2.1 的技术架构是怎样的？有哪些技术改进？如何从T2V改造成I2V的模型的？这篇博客从原理和代码上详细解读这些问题。

目录

原理解读

VAE

海量数据

I2V

生成mask

生成Image latents

原理解读

采用flow matching。文本编码器采用支持多语言的UMT5，其提取的文本特征通过DiT的cross attention注入，所以这里是常规的DiT架构，而非MMDiT架构。之前step fun的30B 传统DiT结构效果并不好，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
开源文生视频模型：通义万相2.1-文生视频-14B 详情介绍与使用
zhangjiaofa的专栏
02-26 1074
Wan2.1 是一个全面且开放的视频基础模型套件，它在视频生成方面突破了现有技术的边界。Wan2.1 提供了一系列关键特性，使其在多个基准测试中持续超越现有的开源模型和最先进的商业解决方案。Wan2.1 是基于主流扩散变压器范式设计的，通过一系列创新在生成能力上取得了显著进步。这些创新包括我们新颖的时空变分自编码器（VAE）、可扩展的训练策略、大规模数据构建以及自动评估指标。总体而言，这些贡献提升了模型的性能和多功能性。
【代码解读】阿里最新开源视频生成模型 Wan 2.1 实现解析
LittleNyima的博客
02-26 1608
详解阿里最新开源视频生成模型 Wan 2.1 代码
阿里 WANX 2.1 视频生成模型即将开源，视频文字两开花
weixin_51674085的博客
02-21 562
昨晚宣布即将开源其最新的 WANX 2.1 视频生成模型。目前还没有更多信息，关注我为你持续跟进。
阿里开源正式开园文生视频、图生视频模型-通义万相 WanX2.1
CherryXieのblog
02-27 1635
通义万相 Wan2.1 模型于 2025年1月 发布，并迅速登顶视频生成领域权威评测 Vbench 的榜首，超越了包括 Sora、HunyuanVideo、Minimax 等国内外知名模型，并于这周开源。它是阿里云在 AI 视频生成领域的最新成果，旨在提供高质量、高效率的视频生成能力。
本地化部署通义万相 Wan2.1视频生成模型，自媒体又一利器，保姆级教程
02-27 3979
今天我相信你也想迫不及待的体验一下本地化部署通义万相 Wan2.1视频生成模型，并且体验一下自己私有化文生视频的效果，让他能快快的应用到自己的场景中，这样以后我们生成视频就再也用去找收费的平台了，全都可以自己解决了。通过以上步骤，你可以成功地在Windows环境下部署通义万相Wan2.1模型并进行视频生成任务。如果有任何问题，请随时告诉我，我会尽力帮助你解决。我们先了解下目前文生视频的其他平台,我都帮你体验过了，进入主题Wan2.1模型本地私有化部署，造富之路开启。
阿里开源WanX秒杀Sora
u013527895的博客
02-27 698
万相2.1，视频创作的“王炸”最近，阿里云在AI视频领域投下了一颗“王炸”——万相2.1模型正式开源了！这款模型可不简单，它不仅在性能上甩开了Sora等国际顶尖对手，还一举登顶了全球权威的VBench评测榜，甚至可以在普通消费级显卡上运行，轻松做出好莱坞级的特效，视频创作的技术门槛再次被刷新。万相2.1是什么？万相2.1是一款由阿里云通义实验室开发的超强视频生成模型，能根据你给定的文本或者图片生成...
开放版Wanx 2.1发布在即：超越Sora，重新定义AI驱动视频生成
AIGCer的博客
02-24 702
她的手臂张开，身体向后倾斜，展现了她的技巧和优雅」。为了最大限度地提升视觉生成质量，Wanx 2.1背后的研究团队在多个技术领域取得了显著进展：首先，通过利用专有的VAE（变分自编码器）和DiT（去噪扩散Transformer）框架，Wanx 2.1在增强时间和空间关系方面表现出色，从而在处理涉及复杂运动场景和物理规则时实现了更高的视觉真实感。此外，Wanx 2.1还实现了一个突破性里程碑，成为首个支持中英文字幕特效的视频生成模型，满足了广告设计和短视频制作等行业多样化的创意需求。
阿里即将开源全球首个支持中英文文字特效的AI视频模型-WanX 2.1
CherryXieのblog
02-26 533
WanX 2.1是阿里巴巴通义万相团队开发的最新版本，于2024年1月推出，并在同年7月首次亮相。它旨在通过AI技术实现从文本描述到视觉内容（如图像和视频）的转换，为用户提供一个强大的工具来创建各种视觉作品。
【人工智能】阿里巴巴的WanX（通义万相）模型是其推出的多模态大模型，最新版本为WanX 2.1，专注于从文本或图像生成高质量视频与图像，并在AI视频生成领域实现了多项技术突破。
本本本添哥
04-03 66
阿里巴巴的WanX（通义万相）模型是其推出的多模态大模型，最新版本为WanX 2.1，专注于从文本或图像生成高质量视频与图像，并在AI视频生成领域实现了多项技术突破。
高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
zhangjiaofa的专栏
03-04 1947
手把手教你在免费GPU算力环境、本地环境部署运行ComfyUI工作流，玩转Wan2.1文生视频、图生视频案例实践。01 魔搭Notebook运行ComfyUI文生视频工作流。
【AI大模型】DeepSeek + 通义万相高效制作AI视频实战详解
热门推荐
congge
03-23 1万+
DeepSeek + 通义万相高效制作AI视频实战详解
通义万相2.1：AI生成技术的革命性突破与应用实践
aqfcca的博客
03-09 533
通义万相2.1的发布不仅是技术上的飞跃，更是一场创作范式的革命。它通过降低专业门槛，赋予普通用户以“导演”的能力，同时也对社会的技术伦理提出了更高要求。未来，随着多模态模型的进一步发展，AI将不仅是工具，更可能成为创意生态中不可或缺的协作者。
真人模特+虚拟模特：阿里通义万相带你体验全新的卖家秀！
木头大左的博客
06-19 725
哈喽，大家好，我是木头左，致力于程序服务生活！
本地部署阿里万象2.1文生视频模型（Wan2.1-T2V）完全指南
hrx-@@
03-01 4894
在生成式AI技术爆发式发展的今天，阿里云开源的万象2.1（Wan2.1）视频生成模型，为创作者提供了从文字/图像到高清视频的一站式解决方案。本文针对消费级显卡用户，以RTX 4060 Ti 16G为例，详解本地部署全流程与性能调优方案，涵盖环境配置、多模型选择策略、显存优化技巧及实战案例解析，助力开发者在低成本硬件上实现电影级AI视频创作，突破云端算力依赖与数据隐私限制。
通义万相2.1：VBench榜单荣登第一！阿里通义万相最新视频生成模型，支持生成1080P长视频
士多啤梨先生の博客
01-11 2226
万相2.1是阿里通义万相最新推出的视频生成模型，支持1080P无限长视频生成，具备复杂动作展现、物理规律还原、艺术风格转换等功能。
通义万相2.1：AI视频生成迎来“质变”，运镜、文字、物理规律全面突破
m0_66917422的博客
01-10 1372
近日，阿里云旗下通义万相视频生成模型宣布了2.1版本的重磅升级，不仅在性能上实现了全面提升，更在运镜、文字生成、物理规律模拟等方面取得了突破性进展，让AI视频生成真正进入了“质变”的新阶段。复杂的人物运动一直是AI视频生成模型的“噩梦”，生成的视频要么手脚乱飞，要么动作僵硬。在处理超长视觉序列时，通义万相团队结合了全新模型工作负载的特点和训练集群的硬件性能，制定出了分布式、显存优化的训练策略，在保证模型迭代时间的前提下优化训练性能，最终达到了业界领先的MFU，并实现了100万超长序列的高效训练。
深度揭秘：通义万相 2.1 与深度学习碰撞出的 AI 视频生成奇迹
来自想要赚大钱的小周同学
03-12 2463
深度学习是机器学习的一个分支，它借鉴了人类大脑神经系统的结构和功能，通过构建多层神经网络来自动学习数据中的复杂模式和特征。与传统的机器学习方法相比，深度学习具有更强的表示能力和泛化能力，能够处理大规模、高维度的数据，并在图像识别、语音识别、自然语言处理等领域取得了显著的成果。深度学习的核心是神经网络，它由多个神经元组成，每个神经元接收输入信号，经过加权求和和非线性变换后输出结果。通过将多个神经元按层次结构组织起来，形成多层神经网络，可以实现对数据的逐层抽象和特征提取。
【现代深度学习技术】现代循环神经网络07：序列到序列学习（seq2seq）
最新发布
Morse_Chen的博客
05-05 1792
本文讲解现代循环神经网络中的序列到序列学习。seq2seq模型采用RNN编码器将变长序列编码为隐状态，解码器基于隐状态逐步生成输出。训练时使用遮蔽损失忽略填充词元，BLEU评估翻译质量。应用于机器翻译，通过教师强制策略训练，预测时逐词生成并用注意力机制优化结果。
阿里云通义万相2.1
02-27
### 阿里云通义万相2.1 版本特性 阿里云于2025年2月25日深夜宣布开源视频生成模型通义万相2.1，此版本提供了两个主要参数规模的选择：文生视频-1.3B和文生视频-14B。这两个版本旨在满足不同的应用场景和技术需求[^1]。 #### 文生视频-1.3B 和 文生视频-14B 的特点 - **文生视频-1.3B**：适合资源有限但希望尝试高质量视频生成的个人开发者或小型团队。 - **文生视频-14B**：针对更复杂、更高精度的任务设计，适用于专业级应用开发以及研究机构。 ### 使用说明 为了方便全球范围内的开发者获取并利用这些先进的技术成果，官方已开放多个平台供下载： - GitHub - Hugging Face - 魔搭社区 用户可以根据自己的偏好选择合适的渠道来访问源码及相关文档资料。 对于想要深入了解如何操作该工具的人来说，建议前往[通义万相官方网站](https://wanxiang.aliyun.com/)进行注册申请账号，并查阅详细的API接口指南和其他支持材料[^2]。 ### 更新内容 此次发布的通义万相2.1不仅实现了完全开源共享，在性能优化方面也取得了显著进步，具体表现在以下几个方面： - 提升了图像到视频转换的质量； - 增强了自然语言处理能力，使得描述文字能够更加精准地映射成视觉效果； - 改进了多模态融合机制，从而更好地理解输入数据之间的关联性； 此外，还修复了一些之前存在的Bug，并增加了新的功能模块以扩展系统的适用性和灵活性。 ```python import torch from transformers import AutoModelForVideoGeneration, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("path_to_model") # 替换为实际路径 model = AutoModelForVideoGeneration.from_pretrained("path_to_model") text_input = tokenizer("A beautiful sunset over the ocean", return_tensors="pt") video_output = model.generate(**text_input) print(video_output.shape) # 输出生成视频张量大小 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值