把AI剖开! 超强动画带你了解DiT--或将颠复文生图的黑马！ Visualization of diffusion trandformer(DiT), what's inside?...

最新推荐文章于 2024-08-14 16:16:34 发布

AARG_FAN

最新推荐文章于 2024-08-14 16:16:34 发布

阅读量71

点赞数 2

文章标签： AI作画 AI写作 AI编程 DALL·E 2 stable diffusion

本文链接：https://blog.csdn.net/AARG_FAN/article/details/141058912

版权

DIT，这个名字或许你在各种地方都见过，因为SORA的流行，也让DIT这个架构变得炙手可热。然而DIT是什么，他相比stable diffusion有哪些好处？我们花了一个月时间，通过对DIT的层层解剖，带您了解这里面的奥秘。

目前市面上开源的DIT较少，模型生态也十分不完善。腾讯混元大模型是中文领域的开源DIT模型倡导者，目前他们的混元DIT大模型已经开源，可以在腾讯元宝app使用或者github下载代码本地部署。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AARG_FAN

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
把AI剖开! 超强动画带你了解DiT--或将颠复文生图的黑马！ Visualization of diffusion trandformer(DiT), what's inside?...

DIT，这个名字或许你在各种地方都见过，因为SORA的流行，也让DIT这个架构变得炙手可热。然而DIT是什么，他相比stable diffusion有哪些好处？我们花了一个月时间，通过对DIT的层层解剖，带您了解这里面的奥秘。目前市面上开源的DIT较少，模型生态也十分不完善。腾讯混元大模型是中文领域的开源DIT模型倡导者，目前他们的混元DIT大模型已经开源，可以在腾讯元宝app使用或者gith...
复制链接

扫一扫

Hunyuan-DiT: A powerful multi-resolution diffusion transformer with fine-grained chinese understand

liguandong

06-28

X∈cxhxw，将x分块成h/pxw/p，p=2，线性投影层之后，得到hw/4个token供后续transformer使用，Hunyuan-DiT包含两种类型的transformer，都包含三个模块，自注意力，交差注意力和FFN，文本信息在交叉注意力模块中融合，解码器中还包含了一个跳跃模块，在解码阶段把编码器的信息添加进来，跳跃模块类似于Unet中的长跳跃连接，DiT中没有上采样或下采样模块，最后，token恢复二维结构，在训练中，使用v-prediction能获得更好的性能。支持多分辨率训练和推理。

DIT 文生图transformer模型PixArt-Sigma、HunyuanDiT、Lumina-Next-T2I

weixin_42357472的博客

05-20

253

在线体验网址：https://huggingface.co/spaces/PixArt-alpha/PixArt-Sigma在线体验网址：中文在线体验网址：

参与评论您还未登录，请先登录后发表或查看评论

改进DiT！清华大学提出Inf-DiT：超高分辨图像无限生成

阿木寺的博客

06-06

301

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 |作者：科技猛兽导读综合实验表明，Inf-DiT 在生成超高分辨率...

超高清图像生成新SOTA！清华唐杰教授团队提出Inf-DiT：生成4096图像比UNet节省5倍内存。

AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。

06-17

797

近年来，扩散模型在图像生成方面表现出色。然而，由于生成超高分辨率图像（例如 4096 × 4096）时内存的二次方增加，生成的图像的分辨率通常限制为 1024 × 1024。在这项工作中，我们提出了一种单向块注意机制，可以在推理过程中自适应地调整内存开销并处理全局依赖关系。在此模块的基础上，我们采用 DiT 结构进行上采样，并开发了一个能够对各种形状和分辨率的图像进行上采样的无限超分辨率模型。综合实验表明，我们的模型在机器和人工评估中都能在生成超高分辨率图像方面实现 SOTA 性能。

matlab实现基2dit-fft算法,基2DIT-FFT的MATLAB实现.ppt

weixin_35628611的博客

03-20

3399

基2DIT-FFT的MATLAB实现.ppt 基2DIT-FFT的MATLAB实现,,基2DIT-FFT的MATLAB实现,DFT是信号分析与处理中的一种重要变换。但直接计算DFT的计算量与变换区间长度N的平方成正比，当N较大时，计算量太大，直接用DFT算法进行谱分析和信号的实时处理是不切实际的。 1965年发现了DFT的一种快速算法，使DFT的运算效率提高1－2个数量级，为数字信号处理技术应用于...

U-Net杀回来了！华为新作U-DiT：让DiT拥抱U-Net！性能提升显著！

阿木寺的博客

06-04

506

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 | 作者：科技猛兽导读受到 U-Net 的主干特征是以低频为主的...

diffusion model(十三)：DiT技术小结

weixin_40779727的博客

03-10

1265

DDPMLDM(隐空间扩散模型基本原理，stable diffusion 底层架构)classifier-free guided(文生图基本原理)

探索3D形状生成的新纪元：DiT-3D Diffusion Transformer

gitblog_00049的博客

06-05

478

探索3D形状生成的新纪元：DiT-3D Diffusion Transformer 项目地址:https://gitcode.com/DiT-3D/DiT-3D 在计算机视觉和人工智能领域，3D形状生成是一项关键任务，它对虚拟现实、自动驾驶和工业设计等领域有着广泛的应用。近年来，随着深度学习的飞速发展，我们迎来了一个名为DiT-3D的新颖模型，该模型充分利用了Transformer的潜力，直接在体...

一文带你搞懂DiT（Diffusion Transformer）

qkh1234567的博客

08-01

307

扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。

dit-fft.c.zip_dit-fft_fft.c_makingbis

09-19

在标题“dit-fft.c.zip_dit-fft_fft.c_makingbis”中，"dit-fft"指的是分治算法实现的FFT，而"fft.c"则表明包含了一个名为"fft.c"的C语言源代码文件，该文件很可能实现了FFT算法。"makingbis"可能是编译或构建过程的...

FFT.rar_DFT ppt_dft 频率_dif fft_fft 4_基8 DIT-FFT

09-19

FFT算法的基本原理是把长序列的DFT逐次分解为较短序列的DFT.按照抽取方式的不同可分为DIT-FFT(按时间抽取)和DIF-FFT(按频率抽取)算法.按照蝶形运算的构成不同可分为基2、基4、基8以及任意因子(2n,n为大于1的整数),基...

fft.rar_16点FFT_32点 fft_4 FFT 256_8点dit-fft_fft-4

09-24

FFT算法实现 Radix2 可以计算 4，8，16，32, 64，128, 256....点FFT Radix4 可以计算 4，16, 64, 256, ...FFT_DIT_general.c 实现了 Radix2 和Radix4 的配合使用，可以计算Radix2可以计算的所有FFT，但效率比Radix2高。

DIT-FFT.zip_DIT_DIT FFT

09-20

**DIT-FFT算法详解** DIT-FFT，即分治迭代法快速傅里叶变换（Decimation-In-Time Fast Fourier Transform），是快速傅里叶变换（FFT）算法的一种实现方式，广泛应用于数字信号处理领域。它通过递归地将一个大问题...

用AI生成海报设计！AI绘画大模型Flux的在线使用！

玩AI的小胡子-博客

08-09

574

除了这种高质量的人像图片生成，这个刚开源的flux AI绘画大模型也能用来直接生成这种动画海报，其实这个就是基于它优质的语义理解能力以及文本生成能力。那我们来操作一下，flux需要本地部署并且在comfyUI使用，如果你电脑配置不够，也可以用云部署或者使用在线版的。

灵图AI系列基础课程：AI绘画发展及灵图产品介绍-Vol.01

最新发布

wincyfu的博客

08-14

176

灵图 AI 是一款优秀的国产 AI 绘画软件，使用起来非常便捷，支持中英文提示词输入，具备多种使用场景，无论是专业设计人群，还是普通大众，都能轻松使用。此次与灵图 AI 合作录制了视频系列课程，详细地介绍了灵图 AI 的通用设计工作流以及实践应用案例。希望本系列课程能够成为你开启灵图 AI 创作之旅的得力助手，助力在设计领域更上一层楼，轻松掌握灵图 AI 的精髓，释放无限创意。灵图AI系列课程001。后续课程持续更新...

AI绘画Stable Diffusion可以帮我做室内设计啦！把AI出图应用到工作当中已经是人人必备的技能啦！

A1353192296的博客

08-14

597

在本篇文章中我们可以把Stable Diffusion 当做一个小的渲染器来用，帮助我们快速出图，以及快速的出概念的创意，如果你是做室内设计的，或者做这种家装自媒号，需要这种大量室内图那么这篇教程你必须要看！当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

喜欢黑丝还是白丝？AI绘画工具 ComfyUI局部重绘助你实现丝袜自由！想看什么直接生成~

A13531922962的博客

08-14

662

ComfyUI 虽然出来的晚一点，但是它的可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。