【diffusion发展历程】扩散模型diffusion入门-感知整体框架

已于 2024-08-14 10:47:19 修改
阅读量1.7k 收藏 30
点赞数 24
分类专栏： 【扩散模型】diffusion图像生成理论学习 文章标签： 人工智能 stable diffusion
于 2024-08-13 16:14:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iloveyouqri/article/details/141164307
版权

简介

扩散模型生成属于AIGC范畴，AIGC是Artificial Intelligence Generated Content——生成式人工智能的缩写，是人工智能1.0到2.0时代的一个重要标志。
扩散模型从2022年开始大火以来，在很多领域都有十分不错的表现，并且发展速度迅猛。特别是在图像生成、3D图像生成、音频生成等都有重大发展。本专栏文章主要讲解扩散模型diffusion在图像生成领域的重要发展和表现。

在图像生成领域，曾经的王者是GAN，通过一个生成模型(generative model)和判别模型(discriminative model)共同组成。而新的王者就是扩散模型Diffusion Model。

发展历程和重要文章

详细的发展过程以及扩散模型生态等可以参考：
2万字了解扩散模型

扩散模型的正向过程类比颜料注入水中的扩散过程添加噪声来扰动数据分布，而反向过程则对应于倒放过程而恢复数据。
扩散过程

详细可以了解这篇综述文章
北大与OpenAI联合发表的综述论文链接
扩散模型

三大基础（20年）

扩散模型从2015年11月斯坦福大学提出的扩散概率模型到19年和20年的扩散模型的三大基础（SGM、DDPM和Score SDE）的提出。此时的效率比较低，采样次数比较多。
在这里插入图片描述

高效采样（2021年初）

因此出现高效采样的DDIM和Improved-Diffusion，从原本的千步以上降低到百步以内，此外将原本的非确定性过程（马尔科夫链）转变为确定性过程。方向降噪过程有了一致性，为插值提供可能性。
在这里插入图片描述

引导扩散（2021年中）

对扩散模型的生成增加了引导，引入CFG无分类器样本质量和多样性的权衡，并且提出GLIDE。同时，零样本迁移CLIP模型架起图像和文字的桥梁。
在这里插入图片描述

语言模型加入（重要-2022年）

2022年4月OpenAI提出CLIP + Diffusion的DALLE2（unCLIP）诞生，谷歌使用T5+Diffusion的Imagen得分超过DALLE2。 unCLIP可以把图以提示词的方式去引导生成图片，但对物体空间位置的理解较差，物体属性的匹配（比如颜色）也较差。
在这里插入图片描述

Stable Diffusion基础LDM（重要-2022年）

LDM

LDMv2在数据集LAION的加持下有了扩散模型的新方向，将图像像素层面运行降维到潜空间运行，减少运算量和训练量，为扩散模型进入消费级显卡奠定了基础。并且增加了条件机制，支持多种输入，为之后的控制模型提供可能。
在这里插入图片描述

StableDiffusion

2022年8月SD模型（VAE+DM+Con）公布，进入消费级显卡时代。
同时，各种微调的方法被提出Textual Inversion（文本嵌入）、Dreambooth（个性化，将主体参入到图像中）、LoRA for DM。

微调方法（2022年）

在这里插入图片描述

可控模型（2023年）

2023年初对于可控性的提出，GLIGEN、ControlNet、T2I-Adapter。
在这里插入图片描述

SDXL新架构提出（2023年7月）

2023年7月SDXL新架构提出，SD全面进入1024*1024的高清时代。8月图像提示词进入成熟阶段image prompt。

看到这里大家对扩散模型的了解是不是有很大的兴趣呢？可以关注我专栏的相关论文解读（持续更新）

相关论文和代码下载

有时候论文网站arXiv.org打开比较慢，已经将相关论文和代码上传到网盘，需要的可以自取

链接: https://pan.baidu.com/s/1J1h8R4KyY7k6NgS2t7YOZg?pwd=3ss8

可以关注公众号：

搜索：福尔马林灌汤包
在这里插入图片描述

Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
AIGC从入门到实战：AI 2.0 向多领域全场景应用迈进
AI天才研究院
05-28 1000
人工智能(Artificial Intelligence, AI) 的概念最早可以追溯到上世纪50年代，图灵在1950年发表的论文《计算机器与智能》中提出了著名的“图灵测试”，被认为是人工智能的开山之作。此后，人工智能经历了几十年的发展，经历了符号主义、连接主义、专家系统等阶段，但始终未能突破理论和应用的瓶颈。20世纪80年代末，机器学习开始兴起，并在90年代取得了突破性进展，例如支持向量机(SVM)和决策树等算法的提出。
扩散模型发展小结
KingsMan666的博客
02-13 558
1.根据文字的描述来生成文本。2.在图上的指定位置生成物体。3.根据一幅图像生成相似的另一幅图像。
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
计算机视觉｜从0到1揭秘Diffusion：图像生成领域的新革命
紫雾凌寒
02-28 1464
Diffusion 模型以其独特的扩散机制，成为图像生成领域的革新力量。通过正反向扩散，它实现了从噪声到高质量图像的转换，在图像、文本和音频生成中表现卓越，突破传统模型局限。其数学基础坚实，稳定性强，适用性广，推动了多领域创新。尽管面临效率和调参挑战，优化方案如 DDIM 已初见成效。
你真的看懂扩散模型(diffusion model)了吗？(从DALL·E 2讲起，GAN、VAE、MAE都有)
年少的勇气已经用完，剩下的就是三思而后行
12-03 5464
我们来讲一下什么是扩散模型，如果你不了解一些工作，你可能不清楚它究竟是什么。AI作画（输入一些文字就可以得到与你描述相符的图像）和抖音大火的真图生成漫画风图等都是它的成果。如下图是我利用AI生成的漫画图。文生图以及根据文字/图像对已有图像进行改图，当然这里的工作只是有限的列举，在各个方面扩散模型仍有很多优秀表现。扩散模型是根据文本/图像输入生成原创性的贴近真实的图片输出。值得一提的是，这里原创性。
sora笔记（三）：diffusion transformer模型的发展历程
submarineas的博客
03-16 2942
::info💡 在一文中介绍了目前未开源的sora模型可能涉及到的技术点，包括介绍了Vision Transformer，作为transformer正式用于图像的一种范式，为本文中将提到的内容打下基础，同时一文对diffusion model的数学原理推导，也为后来模型的演化提供更加完整的认识。而本文将要介绍的是后来的ViViT与DiT两种模型架构，并对其进行了更进一步的源码分析。
扩散模型diffusion model
weixin_36378508的博客
05-13 1511
扩散模型
多模态大模型入门指南（非常详细）零基础入门到精通，收藏这一篇就够了
Hacker_doggy的博客
07-17 3283
如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。
爆火的Sora背后是什么？有哪些应用？首篇Sora综述来了！
3D视觉工坊
03-09 615
Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜力。基于公开的技术报告和逆向工程，本文对该模型的背景、相关技术、应用、尚存挑战以及文本到视频人工智能模型未来发展方向进行了全面审查。我们首先追溯了Sora的发展历程，并调查了用于构建这个"世界模拟器"的基础技术。然后，我们详细描述了Sora在从电影制作、教育到营销等多个行业中的应用和潜在影响。
讲清楚了！一文讲透扩散模型
bagell的博客
12-04 7326
扩散模型（Diffusion Models）是一种新型的生成模型，其灵感来源于非平衡热力学中的扩散过程。这种模型通过模拟从数据集中逐步添加噪声的过程，直至数据完全转化为噪声，然后再通过逆向过程从噪声中恢复出原始数据。扩散模型的起源可以追溯到2015年，当时有研究者提出了深度生成模型（Deep Generative Models），这为后来的扩散模型奠定了基础。2018年，Diffusion Models被正式提出，它通过学习数据分布的逆过程，实现了更加稳定、多样化的样本生成。
ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题
沉迷单车的追风少年
08-03 1116
最新的ECCV 2022有很多关于扩散模型精彩的工作，今天和大家一起学习一下浙大最新的工作：用熵驱动引导扩散模型。这篇论文重点针对分类器引导扩散模型时梯度过早消失的问题，在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。...
走进AI图像生成核心技术 - Diffusion
Baihai_IDP的博客
01-10 3201
2022年，Diffusion model成为图像生成领域的重要发现，推动了AI绘画应用的爆发式发展。Diffusion模型相较于其他的图像生成模型，在所需数据更少的背景下，图像生成效果有明显提升。 本期IDP Inspiration，我们将和大家一起走进Diffusion的发展史。
Diffusion 扩散模型：论生成领先多样性，GAN太单一；论尊贵清晰度独占鳌头，VAE常失真
Debroon
12-11 4996
后来，Diffusion 扩散模型也是生成模型，且在图像生成上，优于 GAN 和 VAE。扩散模型在生成样本时采用了一种不同的方式，它通过在生成过程中逐渐扩散噪声来生成样本。相反，扩散模型只需要在生成过程中进行逐步的扩散操作，使生成的样本逐渐接近真实分布。加噪声和去噪声操作都是正态分布，网络的训练目标应该是让每对正态分布更加接近。扩散模型的训练过程也更加稳定，不需要像GAN那样同时训练生成器和判别器。最直观的想法，肯定是让两个正态分布的均值尽可能接近，方差尽可能接近。
StableDiffusion模型发展历史
思念殇千寻的博客
05-18 2682
　　参考资料： 　　相应的github和huggingface 　　LDM[github] 　　StableDiffusion v1.1 ~ v1.4 [github] [huggingface] 　　StableDiffusion v1.5 [huggingface] [github] 　　StableDiffusion v2 v2.1 [github] [huggingface]　　 　　...
Diffusion--人工智能领域的革命性技术
zkw54334的博客
02-01 743
在人工智能领域，“diffusion”一词通常指的是“扩散模型”（Diffusion Models），其全称为“Denoising Diffusion Probabilistic Models”（DDPMs）。扩散模型是一类生成式模型，它通过逐步去噪的方式，从随机噪声中生成高质量的数据，近年来在图像、音频、视频等多个领域取得了显著进展。随着计算能力的提升和算法的优化，扩散模型的应用场景将进一步扩大，推动人工智能在内容创作、医学、科学等多个领域的发展。然而，扩散模型的真正突破发生在2020年，当时。
【扩散模型】1、扩散模型 | 到底什么是扩散模型?
呆呆的猫的博客
03-11 2万+
本文简单介绍扩散模型
Diffusion模型：引领生成模型的未来
u013558123的博客
04-28 655
Diffusion模型作为一种新兴的深度生成模型，在图像生成等任务中表现出了强大的潜力。尽管目前仍面临一些挑战，但随着研究的深入和技术的发展，相信Diffusion模型将在未来为我们带来更多惊喜。作为技术从业者或爱好者，持续关注Diffusion模型的最新进展，并将其应用于实际项目中，将是一个值得尝试的方向。
深度学习十大算法之Diffusion扩散模型
第欧根尼的酒桶的博客
03-31 2985
扩散模型的应用范围极为广泛，其在不同学科领域中的应用各有侧重。在物理学中，扩散模型被用来研究热传导、粒子扩散等现象。在生物学中，它帮助科学家们理解细胞内物质的传输机制。在化学领域，扩散模型对于分析化学反应和物质混合过程至关重要。此外，扩散模型在社会科学领域也发挥着重要作用。例如，在研究社会网络和人口迁移时，扩散模型可以用来模拟信息、趋势或行为模式的传播过程。在环境科学中，扩散模型用于研究污染物在环境中的扩散和分布。在经济学领域，扩散理论可以用来分析创新或新技术的市场渗透。
扩散模型发展
最新发布
03-27
### 扩散模型的历史演变 扩散模型起源于一种潜在变量模型的设计理念，最早由 Sohl-Dickstein 等人在 2015 年提出[^2]。最初的扩散模型旨在通过对连续数据域中的样本逐步加入随机噪声来构建一个概率分布模型。这种技术的核心在于模拟物理世界中分子的随机运动过程，并将其应用于数据建模。 随后，在 2020 年，Ho, Jain 和 Abbeel 进一步发展了这一理论框架，提出了更高效的训练方法以及改进版的扩散模型架构。他们将整个流程分为两部分：正向噪声添加过程和反向去噪过程。前者负责逐渐破坏原始数据结构，而后者则专注于恢复这些被损坏的数据特征。 ### 当前应用与发展状态 当前，扩散模型已经成为图像生成领域的重要工具之一[^3]。它不仅限于简单的图片合成任务，还广泛应用于其他复杂的计算机视觉场景，比如超分辨率重建、风格迁移等。其工作机制基于这样一个假设——任何自然信号都可以看作是从纯高斯白噪音演化而来的一个特定实例；因此只要能学会如何逆转这个退化路径，则可以实现高质量的新颖内容创造能力提升。 此外，为了进一步优化性能表现并减少计算资源消耗，研究者们探索出了多种变体形式及其应用场景下的最佳实践方案。例如，“潜伏空间内的感知压缩”就是其中一项关键技术进步成果，该方法通过先对输入信息进行降维处理后再执行后续操作从而有效降低了整体运算成本同时保持甚至提高了输出质量水平[^4]。 ```python import torch from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained('model_name') image = pipeline(prompt="a photograph of an astronaut riding a horse").images[0] image.save("astronaut_rides_horse.png") ``` 上述代码片段展示了一个典型的利用预训练好的扩散模型来进行文本到图像转换的例子。这里我们加载了一个名为`model_name` 的管道对象，并指定希望生成什么样的画面描述作为提示词传入函数内部完成创作最后保存结果文件至本地磁盘上供查看使用。 ### 总结 综上所述，从早期的基础概念确立到现在多样化实际用途展现出来强大潜力之间经历了漫长而又充满挑战性的道路。未来随着更多创新想法和技术手段不断涌现出来必将推动此方向取得更加辉煌成就值得期待！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值