免费开源的Stable Diffusion太火了！
有人拿它来做视频短片，几分钟内穿越时间看遍地球万物的演变。
还有人拿它来制作守望先锋里的英雄。
甚至因为使用过于泛滥，牵涉到艺术版权的问题，一群艺术家们还吵了起来，并把一个非官方账号举报到封号。
这背后究竟是如何运作的，才能形成如此惊人的反响？
这几天，有位小哥分享了Stable Diffusion工作机制的线程，还被LeCun点了赞。
来看看究竟说了啥。
又是扩散模型
首先，从名字Stable Diffusion就可以看出，这个主要采用的扩散模型（Diffusion Model）。
简单来说，扩散模型就是去噪自编码器的连续应用，逐步生成图像的过程。
一般所言的扩散，是反复在图像中添加小的、随机的噪声。而扩散模型则与这个过程相反——将噪声生成高清图像。训练的神经网络通常为U-net。
不过因为模型是直接在像素空间运行，导致扩散模型的训练、计算成本十分昂贵。
基于这样的背景下，Stable Diffusion主要分两步进行。
首先，使用编码器将图像x压缩为较低维的潜在空间表示z（x）。
其中上下文（Context）y，即输入的文本提示，用来指导x的去噪。
它与时间步长t一起，以简单连接和交叉两种方式，注入到潜在空间表示中去。
随后在z（x）基础上进行扩散与去噪。换言之， 就是模型并不直接在图像上进行计算，从而减少了训练时间、效果更好。
值得一提的是，Stable DIffusion的上下文机制非常灵活，y不光可以是图像标签，就是蒙版图像、场景分割、空间布局，也能够相应完成。
霸占GitHub热榜第一
这个平台一开源，就始终霸占GitHub热榜第一，目前已累计2.9k星。
它是由慕尼黑大学机器视觉与学习研究小组和Runway的研究人员，基于CVPR2022的一篇论文《High-Resolution Image Synthesis with Latent Diffusion Models》，并与其他社区团队合作开发的一款开源模型。
据官方介绍，它能在几秒内在消费级CPU上运行创作，也无需进行任何预处理和后处理。
核心数据集是LAION-5B的一个子集，它是专为基于CLIP的新模型而创建。
同时，它也是首个在4000个A100 Ezra-1 AI超大集群上进行训练的文本转图像模型。
不管怎么说，在文本生成图像这一趴，又多了一位实力强劲的明星了。（狗头）
这是一位SD资深大神整理的，100款Stable Diffusion超实用插件，涵盖目前几乎所有的，主流插件需求。
全文超过4000字。
我把它们整理成更适合大家下载安装的【压缩包】，无需梯子，并根据具体的内容，拆解成一二级目录，以方便大家查阅使用。
单单排版就差不多花费1个小时。
希望能让大家在使用Stable Diffusion工具时，可以更好、更快的获得自己想要的答案，以上。
如果感觉有用，帮忙点个支持，谢谢了。
想要原版100款插件整合包的小伙伴，可以来点击下方插件直接免费获取
100款Stable Diffusion插件：
面部&手部修复插件：After Detailer
在我们出图的时候，最头疼的就是出的图哪有满意，就是手部经常崩坏。只要放到 ControlNet 里面再修复。
现在我们只需要在出图的时候启动 Adetailer 就可以很大程度上修复脸部和手部的崩坏问题
AI换脸插件：sd-webui-roop
换脸插件，只需要提供一张照片，就可以将一张脸替换到另一个人物上，这在娱乐和创作中非常受欢迎。
模型预设管理器：Model Preset Manager
这个插件可以轻松的创建、组织和共享模型预设。有了这个功能，就不再需要记住每个模型的最佳 cfg_scale、实现卡通或现实风格的特定触发词，或者为特定图像类型产生令人印象深刻的结果的设置!
现代主题：Lobe Theme
已经被赞爆的现代化 Web UI 主题。相比传统的 Web UI 体验性大大加强。
提示词自动补齐插件：Tag Complete
使用这个插件可以直接输入中文，调取对应的英文提示词。并且能够根据未写完的英文提示词提供补全选项，在键盘上按↓箭头选择，按 enter 键选中
提示词翻译插件：sd-webui-bilingual-localization
这个插件提供双语翻译功能，使得界面可以支持两种语言，对于双语用户来说是一个很有用的功能。
提示词库：sd-webui-oldsix-prompt
提供提示词功能，可能帮助用户更好地指导图像生成的方向。
上千个提示词，无需英文基础快速输入提示词，该词库还在不断更新。
以后再也不担心英文写出不卡住思路了！
由于篇幅原因，有需要完整版Stable Diffusion插件库的小伙伴，点击下方插件即可免费领取
扫一扫
576
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
