【扩散模型系列3】DiT开源项目

最新推荐文章于 2025-01-16 15:48:45 发布
最新推荐文章于 2025-01-16 15:48:45 发布
阅读量1.5k 收藏 15
点赞数 12
文章标签： DiT 图像生成 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41021342/article/details/136457818
版权

文章目录

DiT原始项目

该项目仅针对DiT训练，并未包含VAE 的训练

项目地址

论文主页

Fast-DiT readme

该项目仅针对DiT训练，并未包含VAE 的训练

项目地址

该项目是基于论文Scalable Diffusion Models with Transformers的pytorch改进实现

包含：

  • PyTorch的改进实现 和原始的DiT实现

  • 在ImageNet (512x512 and 256x256)预训练的条件分类的 DiT 模型；

  • 一个独立的 Hugging Face Space 和 Colab notebook，用于运行预训练的DiT-XL/2模型

  • 改进的DiT 训练脚本 和一些 训练建议

启动
首先，下载开源代码

git clone https://github.com/chuanyangjin/fast-DiT.git
cd DiT

我们提供了 environment.yml 文件，可创建Conda 虚拟环境。

如果想要在本地CPU运行预训练的模型，可以在文件中删除cudatoolkit 和pytorch-cuda 相关的依赖项。

conda env create -f environment.yml
conda activate DiT

Sampling

在这里插入图片描述

预训练的DiT checkpoints

你可以使用

最低0.47元/天 解锁文章
Unet已死，Transformer当立！详细解读基于DiT的开源视频生成大模型EasyAnimate
沉迷单车的追风少年
06-21 1953
最近阿里云PIA团队开源了基于Diffusion Transformer结构的视频生成模型EasyAnimate，并且提出了专门针对视频的slice VAE，对于目前基于Unet结构的视频生成最好如SVD形成了降维打击，不论是生成质量、生成时长上都是遥遥领先。这篇博客详细解读一下EasyAnimate的技术报告《EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture》
xDIT 框架多GPU推理DIT PixArt扩散模型使用案例
weixin_42357472的博客
08-13 683
参考: https://github.com/xdit-project/xDiT安装 : xfuser 0.2项目下载： 代码运行 –model 指定模型；nproc_per_node gpu数量，另外pipefusion_parallel_degree与ulysses_degree 乘机要等于gpu数量 默认保存在 ./results下
一文带你搞懂DiT（Diffusion Transformer）
热门推荐
2401_84033492的博客
05-25 2万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
【深度学习】大规模DiT模型部署轻松拿下！港中文等提出TerDiT：性能不输全精度模型...
fengdu78的博客
06-16 371
作者丨科技猛兽 编辑丨极市平台导读受低比特 LLM 量化感知训练方案的启发，本文研究了三值 DiT 模型的 QAT 量化方法，并引入了 DiT 特异性改进来更好地训练。本文目录1 TerDiT：三值 Diffusion Transformer(来自港中文，上海交大，上海 AI Lab)1 TerDiT 论文解读1.1 Diffusion Transformer 变大之后的部署难题1.2 Di...
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
周红伟讲AI
03-08 1331
在uncond_eps基础上，得到最后的隐向量。在DiT-XL-2中，patch处理的步长和卷积核大小为2，通道为1152，在处理完成后，特征的通道上升，高宽被压缩，此时我们获得一个16x16x1152的新特征，然后我们将其在长宽上进行平铺，获得一个256x1152的向量，并且加上位置信息。DiT相比于DDPM，使用了更快的采样器，也使用了更大的分辨率，与Stable Diffusion一样使用了隐空间的扩散，但可能更偏研究性质一些，没有使用非常大的数据集进行预训练，只使用了imagenet进行预训练。
DiT：Transformers 与扩散模型强强联手
ZILLIZ
01-10 5409
DiT：Transformers 与扩散模型强强联手
DiT解读：当Diffusion遇上Transformer
JJ-Li的博客
04-20 5125
DiT论文解读，Diffusion结合Transformer，前置知识讲解，sora技术猜测
[读论文][code运行教程]DiT Scalable Diffusion Models with Transformers
计算机视觉
11-16 3148
如果您使用train.py(见下文)训练了一个新的DiT模型，那么您可以添加——ckpt参数来使用您自己的检查点。例如，要从自定义256x256 DiT-L/4型号的EMA权重。
国内首个中文原生DiT架构SOTA大模型全面开源！———Hunyuan-DiT技术报告详解
AIGCer的博客
05-15 1975
基于扩散的文本生成图像模型，如DALL-E、Stable Diffusion和Pixart，已经展示了生成前所未有质量图像的能力。然而，它们缺乏直接理解中文提示的能力，限制了其在中文文本提示下的图像生成潜力。为了提高中文理解能力，提出了AltDiffusion、PAI-Diffusion和Taiyi，但它们的生成质量仍需改进。在本报告中，介绍了构建Hunyuan-DiT的完整流程，该模型可以根据英文和中文提示生成不同分辨率的高质量详细图像。
Sora揭底系列模型介绍 (VAE/DDPM/SD/DiT/Sora)
03-13
- **Stable Diffusion**：一种开源的扩散模型，因其高效性和易于使用的特性而在社区中广泛流行。 - **Diffusion in Time (DiT)**：2023年提出的新模型，专注于时间序列数据上的扩散建模。 这些模型在不同领域有着...
从扩散模型基础到DIT
hang on it more longer
02-22 1344
为了加快图像生成过程，Stable Diffusion 并不是在像素图像本身上运行扩散过程，而是在图像的压缩版本上运行。，具备更好的扩展性scaling（tokens扩展，网络深度扩展，增加参数量就能有更好的性能），有较低的t FID of 2.27。图示结构如下，可以看出输入含噪声图片，输出噪声。输入随机噪声和文本内容，通过多次预测并去除图片中的噪声后，最终生成清晰的图像。从它的训练和预测代码中，我们看到也使用了训练好的VAE模型。图中XT为T时刻的有噪图片，Xt-1为去噪后的图片。
DiT (Scalable Diffusion Models with Transformers) 论文学习笔记
hjhr2018的博客
07-15 999
在这个函数中，labels参数表示输入的标签，force_drop_ids用于指定哪些标签需要被强制丢弃，dropout_prob表示丢弃的概率，函数使用 torch.where函数根据 drop_ids是否=1将需要丢弃的标签替换为 self.num_classes，此时共有num_classes+1个类别。在训练过程中以一定概率令条件编码=空，得到条件生成和无条件生成的输出，再将其线性组合作为最终的输出。最后，我们将解码后的标记重新排列为其原始空间布局，以获得预测的噪声和协方差。位置编码：梯度不更新。
DiT: Self-supervised Pre-training for Document Image Transformer论文阅读笔记
qq_39656852的博客
01-24 1036
DiT，一种用于通用文档 AI 任务的文档图像的 Transformer 模型，该模型不依赖于任何人工标记的文档图像。创新点：①.本身的在自然场景的图片上训练得到的DALL-E tokenizer不适用于文本，因此在文档图片数据集上重新训练了DALL-E tokenizer，使其更适合针对文档图片获取到对应的Tokens②.设计MIM预训练目标，让模型根据上下文预测出被[MASK]掉的图像块（注意是图像块，而不是像素）
知识蒸馏算法和代码（Pytorch）笔记分享，一个必须要了解的算法
互相学习的小博客
03-04 1万+
知识蒸馏算法和代码（Pytorch）笔记分享，一个必须要了解的算法
DiT：从理论到实践，一文深入浅出带你学习Diffusion Transformer
记录成长
01-16 1217
DiT模型使用Transformer作为其主干网络，替代了传统的U-Net架构。这些模型在Latent Space中训练，通过变换器处理潜在的图像块（patches）。其中，每个tokens在序列中都有一个隐藏维度d，即向量大小。
Sora核心组件DiT训练提速10倍，大佬团队出品，已开源！
深度学习技术前沿
03-17 251
来源：新智元DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模，从而实现高质量的图像生成。然而，更大的模型规模导致训练成本飙升。为此，来自Sea AI Lab、南开大学、昆仑万维2050研究院的颜水成和程明明研究团队在ICCV 2023提出的Masked Diffusion Transformer利用mask modeling...
可扩展的Transformer驱动扩散模型（DiT）：改进版PyTorch实现
gitblog_00083的博客
05-08 699
可扩展的Transformer驱动扩散模型（DiT）：改进版PyTorch实现 fast-DiT Fast Diffusion Models with Transformers 项目地址: https://gitcode.com/gh_mirrors/fa/fas...
【扩散模型（七）】Stable Diffusion 3 diffusers 源码详解2 - DiT 与 MMDiT 相关代码（上）
weixin_44212848的博客
08-12 2544
虽然这些变量来自于同一个线性层的输出，但由于 nn.Linear 层的权重在训练过程中是可学习的，并且是随机初始化的，因此这些权重会在训练过程中被更新为不同的值。
扩散模型（Diffusion model）代码详细解读
qq_41234663的博客
01-28 1万+
扩散模型的代码解读
扩散模型DIT
最新发布
03-20
### 扩散模型 DIT 的实现与介绍 扩散模型（Diffusion Model）是一种强大的生成模型，其核心思想是逐步向数据中添加噪声并学习逆过程以恢复原始数据。Denoising Implicit Transport (DIT) 是一种改进版的扩散模型...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值