从扩散模型基础到DIT

已于 2024-02-22 17:27:44 修改
阅读量1.3k 收藏 7
点赞数 16
文章标签： 扩散模型 Diffusion DIT
于 2024-02-22 17:27:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012599545/article/details/136167196
版权
本文详细介绍了扩散模型的工作原理，如DDPM如何通过噪声预测和去噪，以及UNET在噪声预测器中的应用。还讨论了StableDiffusion如何利用VAE加速图像生成，并提到了DIT和SORA模型的优势，包括Transformer技术带来的可扩展性和性能提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion model 扩散模型如何工作？

输入随机噪声和文本内容，通过多次预测并去除图片中的噪声后，最终生成清晰的图像。

以上左边这张图，刚开始是随机噪声，999为时间序列。

为什么不直接预测下一张图片呢？

预测噪声还是简单一点。

如何训练 Noise Predicter呢？

具体的方法是自己去按步骤加噪音，这样就构建了训练样本。预测目标就是我们加的噪声。

如何加入文字？

可以看出，增加文字输入即可

DDPM原理

当然具体的噪声loss计算，以及去噪公式稍微麻烦一点，并不是直接加减。

最低0.47元/天 解锁文章
confiself
关注
xDIT 框架多GPU推理DIT PixArt扩散模型使用案例
weixin_42357472的博客
08-13 669
参考: https://github.com/xdit-project/xDiT安装 : xfuser 0.2项目下载： 代码运行 –model 指定模型；nproc_per_node gpu数量，另外pipefusion_parallel_degree与ulysses_degree 乘机要等于gpu数量 默认保存在 ./results下
人工智能_大模型065_多模态大语言模型13_DiffusionModel扩散模型_最小化分布差异_UNet去噪模型_DIT_基于Transformer的扩散模型---人工智能工作笔记0200
添柴程序猿的专栏
05-16 227
UNet是一种常用于图像分割的卷积神经网络（CNN）架构，它通过编码器和解码器结构来捕获图像中的上下文信息，并生成详细的分割图。1. **加噪声阶段**：首先，你把这张画纸上的颜色全部混合在一起，直到整张纸变成了一个混乱的颜色，这就是加噪声的过程。他的效果上也有问题,因为,之前我们发现的,用现在国内很多的大模型去,画图的时候,发现,画出的图中的文字,都不对,不知道,他生成的是什么字,其实可以看到,就是预测x0,这里的x0 是已知的,我们要做的就是,预测出x^0 让他尽可能的和x0接近,那么。
DiT解读：当Diffusion遇上Transformer
JJ-Li的博客
04-20 5099
DiT论文解读，Diffusion结合Transformer，前置知识讲解，sora技术猜测
Diffusion Transformer模型结构解析（DiT、SD3、Flux）
weixin_44966641的博客
11-14 3074
从 UNet 迁移到 DiT，可以利用 Transformer 模型的 scaling 能力，通过增大参数量来提升出图的质量。在这个迁移过程中，我们需要考虑 Transformer 应用于扩散模型时的 patchify、positional encoding、conditioning 等几个重要环节。DiT 首先提出，确立了 patchify 的方法，并实验得到 adaLN 是比较适合 Diffusion Transformer 的 conditioning 方式；
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
周红伟讲AI
03-08 1326
在uncond_eps基础上，得到最后的隐向量。在DiT-XL-2中，patch处理的步长和卷积核大小为2，通道为1152，在处理完成后，特征的通道上升，高宽被压缩，此时我们获得一个16x16x1152的新特征，然后我们将其在长宽上进行平铺，获得一个256x1152的向量，并且加上位置信息。DiT相比于DDPM，使用了更快的采样器，也使用了更大的分辨率，与Stable Diffusion一样使用了隐空间的扩散，但可能更偏研究性质一些，没有使用非常大的数据集进行预训练，只使用了imagenet进行预训练。
DiT（Diffusion Transformer）详解——AIGC时代的新宠儿
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-25 8699
本文详细介绍DiT（Diffusion Transformer）了，DiT作为AIGC时代的新宠儿，将Transformer和Diffusion结合，在图像和视频生成
可扩展的Transformer驱动扩散模型（DiT）：改进版PyTorch实现
gitblog_00083的博客
05-08 695
可扩展的Transformer驱动扩散模型（DiT）：改进版PyTorch实现 fast-DiT Fast Diffusion Models with Transformers 项目地址: https://gitcode.com/gh_mirrors/fa/fas...
一文带你搞懂DiT（Diffusion Transformer）
热门推荐
2401_84033492的博客
05-25 2万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
diffusion model(十三)：DiT技术小结
weixin_40779727的博客
03-10 1960
DDPMLDM(隐空间扩散模型基本原理，stable diffusion 底层架构)classifier-free guided(文生图基本原理)
大幅提升DiT模型生成速度，降低扩散模型显存开销，无问芯穹与清华、交大、微软联合团队提出ViDiT-Q与MixDQ
2401_87329534的博客
09-18 2094
生成质量基本无损的低比特量化方案
【扩散模型系列1】扩散模型背景|DDPMs|LDM
weixin_41021342的博客
03-04 1599
扩散模型：和其他生成模型一样，实现从噪声（采样自简单的分布）生成目标数据样本。前向扩散过程和反向生成过程前向扩散过程是对一张图像逐渐添加高斯噪音直至变成随机噪音；反向生成过程是去噪音过程，我们将从一个随机噪音开始逐渐去噪音直至生成一张图像，这也是我们要求解或者训练的部分。​ 去噪过程一般采用UNet或者ViT，使用t步的结果和条件输入预测t-1步增加的噪声，然后使用DDPM可以得到t-1步的分布，经过多步迭代就可以从随机噪声还原到有实际意义的信号。
Diffusion Transformer（DiT）—— 图像视频生成领域的新王，Sora的背后功臣
代码世界的博客
09-27 1438
DiT，即Diffusion Transformer，是一种新型的扩散模型，它将传统扩散模型中的U-Net架构替换为Vision Transformer（ViT），并针对Diffusion Model特点修改模型，旨在提升图像生成性能。通过扩展模型大小和输入token的数量，DiT模型在保持计算效率的同时，达到了新的性能高度。
[读论文][code运行教程]DiT Scalable Diffusion Models with Transformers
计算机视觉
11-16 3122
如果您使用train.py(见下文)训练了一个新的DiT模型，那么您可以添加——ckpt参数来使用您自己的检查点。例如，要从自定义256x256 DiT-L/4型号的EMA权重。
DiT：从理论到实践，一文深入浅出带你学习Diffusion Transformer
记录成长
01-16 1192
DiT模型使用Transformer作为其主干网络，替代了传统的U-Net架构。这些模型在Latent Space中训练，通过变换器处理潜在的图像块（patches）。其中，每个tokens在序列中都有一个隐藏维度d，即向量大小。
【扩散模型（七）】Stable Diffusion 3 diffusers 源码详解2 - DiT 与 MMDiT 相关代码（上）
weixin_44212848的博客
08-12 2501
虽然这些变量来自于同一个线性层的输出，但由于 nn.Linear 层的权重在训练过程中是可学习的，并且是随机初始化的，因此这些权重会在训练过程中被更新为不同的值。
DiT结构原理代码详解
周红伟讲AI
03-09 7042
在Sora。
DiT：Transformers 与扩散模型强强联手
ZILLIZ
01-10 5402
DiT：Transformers 与扩散模型强强联手
（2024，扩展Transformer和数据，SDXL，SD2，DiT与 UNet）基于扩散的文本到图像生成的可扩展性
qq_44681809的博客
04-19 2099
​本文对去噪骨干和训练集进行消融实验，发现增加 Transformer 块对于改善文本-图像对齐比增加通道数量更具高效。在数据扩展方面，训练集的质量和多样性比数据集大小更重要。增加标题密度和多样性可提高文本-图像对齐和学习效率
【扩散模型系列3】DiT开源项目
weixin_41021342的博客
03-04 1523
开源项目仅能下载DiT-XL模型微软开源了DiT-B模型，下载链接。
视频生成模型 DIT
最新发布
02-15
### 视频生成模型 DiT 的工作原理 视频生成模型 DiT (Diffusion in Time) 是一种专门用于视频合成的技术，它通过引入时间维度上的扩散过程来改进传统图像扩散模型的能力。这种模型不仅能够捕捉单帧内的空间特征，还能有效处理跨多帧的时间依赖关系。 #### 时间维度上的扩散机制 在传统的扩散模型基础上，DiT 进一步扩展了噪声逐步去除的过程至连续的多个视频帧之间。具体来说，在训练阶段，随机选取一段短视频序列并加入高斯白噪音；随后迭代减少该段落内每一帧所含有的干扰成分直至恢复原始清晰度。此过程中特别设计了一种时空联合条件分布函数pθ(xt|x0,t−1)，用来指导去噪方向既符合当前时刻也兼顾前后相邻瞬间的状态转移特性[^1]。 #### 应用场景 由于具备强大的动态内容理解和创造能力，DiT 可广泛应用于影视制作、虚拟现实等领域： - **特效生成**：利用DiT可以从少量样本中学习特定风格的动作模式，并据此批量生产高质量视觉效果素材； - **交互式娱乐体验开发**：借助于快速响应用户输入调整输出结果的特点，支持构建更加沉浸式的AR/VR环境； - **个性化推荐系统增强**：通过对大量历史播放记录的学习分析，预测观众偏好趋势进而提供定制化节目列表建议。 ```python import torch from dit import DiffusionInTimeModel model = DiffusionInTimeModel() video_tensor = torch.randn((batch_size, num_frames, channels, height, width)) output_video = model(video_tensor) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值