简介
扩散模型生成属于AIGC范畴,AIGC是Artificial Intelligence Generated Content——生成式人工智能的缩写,是人工智能1.0到2.0时代的一个重要标志。
扩散模型从2022年开始大火以来,在很多领域都有十分不错的表现,并且发展速度迅猛。特别是在图像生成、3D图像生成、音频生成等都有重大发展。本专栏文章主要讲解扩散模型diffusion在图像生成领域的重要发展和表现。
在图像生成领域,曾经的王者是GAN,通过一个生成模型(generative model)和判别模型(discriminative model)共同组成。而新的王者就是扩散模型Diffusion Model。
发展历程和重要文章
详细的发展过程以及扩散模型生态等可以参考:
2万字了解扩散模型
扩散模型的正向过程类比颜料注入水中的扩散过程添加噪声来扰动数据分布,而反向过程则对应于倒放过程而恢复数据。
详细可以了解这篇综述文章
北大与OpenAI联合发表的综述论文链接
三大基础(20年)
扩散模型从2015年11月斯坦福大学提出的扩散概率模型到19年和20年的扩散模型的三大基础(SGM、DDPM和Score SDE)的提出。此时的效率比较低,采样次数比较多。
高效采样(2021年初)
因此出现高效采样的DDIM和Improved-Diffusion,从原本的千步以上降低到百步以内,此外将原本的非确定性过程(马尔科夫链)转变为确定性过程。方向降噪过程有了一致性,为插值提供可能性。
引导扩散(2021年中)
对扩散模型的生成增加了引导,引入CFG无分类器样本质量和多样性的权衡,并且提出GLIDE。同时,零样本迁移CLIP模型架起图像和文字的桥梁。
语言模型加入(重要-2022年)
2022年4月OpenAI提出CLIP + Diffusion的DALLE2(unCLIP)诞生,谷歌使用T5+Diffusion的Imagen得分超过DALLE2。 unCLIP可以把图以提示词的方式去引导生成图片,但对物体空间位置的理解较差,物体属性的匹配(比如颜色)也较差。
Stable Diffusion基础LDM(重要-2022年)
LDM
LDMv2在数据集LAION的加持下有了扩散模型的新方向,将图像像素层面运行降维到潜空间运行,减少运算量和训练量,为扩散模型进入消费级显卡奠定了基础。并且增加了条件机制,支持多种输入,为之后的控制模型提供可能。
StableDiffusion
2022年8月SD模型(VAE+DM+Con)公布,进入消费级显卡时代。
同时,各种微调的方法被提出Textual Inversion(文本嵌入)、Dreambooth(个性化,将主体参入到图像中)、LoRA for DM。
微调方法(2022年)
可控模型(2023年)
2023年初对于可控性的提出,GLIGEN、ControlNet、T2I-Adapter。
SDXL新架构提出(2023年7月)
2023年7月SDXL新架构提出,SD全面进入1024*1024的高清时代。8月图像提示词进入成熟阶段image prompt。
看到这里大家对扩散模型的了解是不是有很大的兴趣呢?可以关注我专栏的相关论文解读(持续更新)
相关论文和代码下载
有时候论文网站arXiv.org打开比较慢,已经将相关论文和代码上传到网盘,需要的可以自取
链接: https://pan.baidu.com/s/1J1h8R4KyY7k6NgS2t7YOZg?pwd=3ss8
可以关注公众号:
搜索:福尔马林灌汤包