解读HunYuan Video代码(1)：揭秘核心双流+单流的MM-DiT结构

已于 2025-01-17 10:23:16 修改
阅读量1.6k 收藏 18
点赞数 20
分类专栏： Diffusion Models与深度学习 文章标签： HunYuan
于 2025-01-16 20:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/145178003
版权

Diffusion models代码解读：入门与实战

前言：FLUX和HunYuan-Video是目前开源效果最好的图像生成模型和视频生成模型，背后成功的关键之一就是双流+单流MM-DiT。很多社区的朋友讨论说DiT的效果很多方面表现不如UNet，诚然，改进版本双流+单流MM-DiT才是彻底击败UNet的关键。这篇博客是解读HunYuan Video代码的第一篇，首先解读最核心的网络结构。

目录

MM-DiT总揽

双流+单流MM-DiT

MMDoubleStreamBlock

调制层

RoPE

Attention

MMSingleStreamBlock

Timestep 与 text token 拼接

Patch

Final Layer

UnPatch

MM-DiT总揽

有据可查的MM-DiT结构来自SD3

原始论文《Scaling Rectified Flow Transformers

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Diffusion models代码解读：入门与实战
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
手把手写深度学习(32)：给初学者看的微调HunYuan Video教程
沉迷单车的追风少年
01-15 712
​ 之前的博客《代码实战：使用LoRA训练HunYuan Video生成定制肖像视频（附调参经验）》中介绍了如何用LoRA训练HunYuan Video，非常适合定制自己的ID特征。这篇论文将从更基础的方面讲解如何微调HunYuan Video，主要给第一次训练HunYuan Video的初学者。
Diffusion Transformer模型结构解析（DiT、SD3、Flux）
weixin_44966641的博客
11-14 3293
从 UNet 迁移到 DiT，可以利用 Transformer 模型的 scaling 能力，通过增大参数量来提升出图的质量。在这个迁移过程中，我们需要考虑 Transformer 应用于扩散模型时的 patchify、positional encoding、conditioning 等几个重要环节。DiT 首先提出，确立了 patchify 的方法，并实验得到 adaLN 是比较适合 Diffusion Transformer 的 conditioning 方式；
【扩散模型（八）】Stable Diffusion 3 diffusers 源码详解2 - DiT 与 MMDiT 相关代码（下）
weixin_44212848的博客
08-26 2318
中的 JointTransformerBlock 类，其中 hidden_states （noisy latent）和 encoder_hidden_states (text prompt) 分别通过 norm1 和 norm1_context 后，进入了第四层。transformer_sd3.py 中的 forward 函数中以下片段进入 for 循环，如果不训练 backbone的话，那么就是从 else 分支进入 block 中。下方画出的图片和对应代码即为文图融合的核心关键，在原论文中。
Stable Diffusion 3详解
haopinglianlian的博客
12-11 2659
详细介绍SD 3的主要模型改进和训练过程中的优化和细节。对难点进行了额外知识点补充，保证小白能读懂。
HunyuanVideo: A Systematic Framework For Large Video Generative Models
AI浩
12-16 1358
“弥合闭源与开源视频基础模型之间的差距，加速社区探索。” 混元基础模型团队 摘要 视频生成技术的最新进展极大地改变了个人与行业日常生活的面貌。然而，主流的视频生成模型仍为闭源，导致行业与公众社区在视频生成能力上存在显著的性能差异。在本报告中，我们提出了HunyuanVideo，这是一种新型开源视频基础模型，其视频生成性能可与主流闭源模型相媲美，甚至更优。HunyuanVideo具有一个综合框架，整合了多项关键贡献，包括数据整理、先进架构设计、渐进式模型缩放与训练，以及为大规模模型训练和推理设计的高效基础
Step-Video-T2V 论文解读
NPU 研0
02-26 956
Step-video-T2V是一个T2V模型，具有30B参数，能够生成最多204帧的视频（分辨率544*992），基于DiT模型设计，使用rectified flow进行训练，并在原有的VAE上实现了16x16的空间压缩比和8x的时间压缩比，包括两个双语文本编码器，能够直接理解中文或英文提示，引入了级联训练过程，包括文本到图像的预训练、文本到视频预训练、监督微调（SFT）、之际偏好优化（DPO），来加速模型收敛并充分利用不同质量的视频数据集。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
基于昇腾+MindSpore，玩转HunyuanVideo-I2V图生视频！
Kenji_Shinji的博客
03-18 440
HunyuanVideo-I2V在HunyuanVideo (T2V)的基础上，将参考图像的潜在特征和高斯噪声进行拼接和融合，作为DiT模型的输入，在每一步去噪的前后进行首帧图像潜在特征的替换。用户只需要提供一张图片，简要描述要生成的视频内容，例如动作描述，镜头位置等等，HunyuanVideo-I2V就可以让图片动起来，生成高清连贯的视频，最高支持720P 5s。可以看出，i2v_stability 为True时，会进行参考图像和随机噪声的潜在混合，以保持对参考图像的一致性。
AIGC算法工程师-面试八股文-2025年版本-算法八股文/工程八股文/开放式问题
沉迷单车的追风少年
04-14 1047
​两年前整理了《AIGC算法工程师 面试八股文》，全网一共有100w读者看过，收到了很多小伙伴的催更。Diffusion的技术发展非常快，博主特意整理了最近两年最新的八股文，内容非常全面，涵盖算法八股文/工程八股文/开放式问题三个大类，希望能为求职的读者们带来帮助。
Python实现的CNN卷积神经网络手写数字识别项目源码及详尽注释和数据集（适合毕业设计与期末大作业）
05-20
基于Python实现的CNN卷积神经网络手写数字识别项目，包含源码、详细注释和数据集。该项目为毕业设计作品，经导师指导并认可通过，评审分为98分。源码经过本地编译调试，确保可运行。适合计算机相关专业的学生作为毕业设计或期末大作业使用，也适用于需要实战练习的学习者。资源难度适中，内容由助教老师审定，满足学习和使用需求，可以放心下载使用。。内容来源于网络分享，如有侵权请联系我删除。
cmd-bat-批处理-脚本-改变窗口颜色并显示当前颜色代码.zip
05-20
cmd-bat-批处理-脚本-改变窗口颜色并显示当前颜色代码.zip
cmd-bat-批处理-脚本-十进制转十六进制.zip
05-20
cmd-bat-批处理-脚本-十进制转十六进制.zip
移动手柄的工艺工装设计.rar
05-20
移动手柄的工艺工装设计.rar
cmd-bat-批处理-脚本-刷新策略.zip
05-20
cmd-bat-批处理-脚本-刷新策略.zip
cmd-bat-批处理-脚本-交换两个变量的值而不使用临时变量.zip
05-20
cmd-bat-批处理-脚本-交换两个变量的值而不使用临时变量.zip
cmd-bat-批处理-脚本-人民币大小写互转程序.zip
05-20
cmd-bat-批处理-脚本-人民币大小写互转程序.zip
DINAR.SHX
05-20
使用方法：拷贝到Auto CAD的Fonts下
cmd脚本-bat批处理-删除N天之前的文件.zip
最新发布
05-20
cmd脚本-bat批处理-删除N天之前的文件.zip
comfyui hunyuan
01-22
### ComfyUI Hunyuan 项目介绍 ComfyUI 是一个用于创建图形化界面的工作流工具，主要用于简化机器学习模型的应用开发过程。通过拖拽组件的方式构建复杂的处理流程，使得开发者能够更高效地完成工作[^1]。 对于 Hunyuan 项目的集成，在特定场景下可以增强 ComfyUI 功能。例如，Hunyuan3D 提供了三维重建能力，而其部署可以通过 Git 进行克隆操作来获取源码并进一步设置环境变量等必要条件[^4]。此外，还有专门针对 ComfyUI 开发的插件如 `ComfyUI-Diffusers` ，该模块允许使用者借助 Hugging Face 上丰富的预训练模型库来进行扩散模型实验，并支持流式传输等功能扩展[^5]。 #### 安装与配置指导 为了使 ComfyUI 和 Hunyuan 结合得更加紧密，通常建议按照官方文档中的说明逐步执行安装命令以及调整参数设定。当完成了基本框架的搭建之后，可以根据实际需求探索更多高级特性或是自定义节点的设计[^3]。 ```bash # 下载 Hunyuan3D 源代码仓库 git clone https://github.com/tencent/Hunyuan3D-1.git cd Hunyuan3D-1/ ``` 上述命令展示了如何从 GitHub 获取腾讯开源的 Hunyuan3D 工程文件夹，并进入该项目目录准备后续的操作步骤。 #### 使用案例展示 假设现在要利用 ComfyUI 来加载来自 HuggingFace 的某个图像生成模型并通过 Web 界面实时查看效果变化，则可以在 ComfyUI 中添加新的 Node 节点以调用对应的 API 接口或者直接运行 Python 函数实现交互逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值