【stable diffusion扩散模型】一篇文章讲透

已于 2024-06-22 15:44:56 修改
阅读量1w 收藏 49
点赞数 69
文章标签： stable diffusion 人工智能
于 2024-03-25 06:33:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_79387663/article/details/137000528
版权
本文介绍了StableDiffusion，一种基于扩散模型的图像生成技术，探讨了其工作原理、应用领域，包括艺术创作和图像修复，以及所面临的挑战和未来发展趋势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
【大模型】AutoDL部署AI绘图大模型Stable Diffusion使用详解
congge
09-22 9807
AutoDL部署AI绘图大模型Stable Diffusion使用详解
由浅入深理解Latent Diffusion/Stable Diffusion(2)：扩散生成模型的工作原理
沉迷单车的追风少年
11-17 4903
关于如何使用stable diffusion的文章已经够多了，但是由浅入深探索stable diffusion models背后原理，如何在自己的科研中运用stable diffusion预训练模型的博客少之又少。本系列计划写5篇文章，和读者一起遨游diffusion models的世界！本文主要介绍扩散生成式模型的基本原理，stable diffusion models的前身latent diffusion models的基本原理。
扩散模型 - Stable Diffusion
qq_43505867的博客
06-03 2780
所以 U-Net（噪音预测器）预测的噪音也是以潜变量的形式表示的。每一步扩散的输入是潜变量，输出是信息进一步丰富的潜变量。最终的输出是一张图像。​ Stable Diffusion 的开源模型中使用的是 OpenAI 的 CLIP（基于 GPT），而其论文中使用的是 Google 的 BERT。Stable Diffusion 可以完成多模态任务，包括：文字生成图像（text2img）、图像生成图像（img2img）等。​ 有工作指出：文本编码器的选择对于扩散模型的表现比图像生成器的选择更重要。
终极指南！Stable Diffusion 模型全解析，看这篇就够了
ice_99的博客
03-27 885
在第一次接触SD的时候，我就被里面的模型搞到头大，不仅有多种模型后缀，模型之间也有很多种类型，如果是新手小白的话，在这一步就很容易被搞晕。而在本期文章，技术巫帮你系统梳理了SD的模型，相信不管是对于小白还是老手，都会有一定帮助！
Stable Diffusion扩散模型【详解】小白也能看懂！！
qq_23022733的博客
04-04 4828
2、因为每一个像素都有自己的分布，都要预测出一个均值和方差，所以网络输出的尺寸需要和图像尺寸一致，所以我们选用 Unet 网络，假设数据集中有100张图片，每张图片的shape是4x4x3，假设每张图片的每个channel的每个像素点都服从正态分布，图像加噪不是在原有图像上进行加噪的，而是通过把图片的每个像素的值转换为-1到1之间，比如像素的值是。去噪是加噪的逆过程，由时间T时刻的图像逐渐去噪到时刻为0的图像，求导，但是对于扩散的过程是不可行的，如下面的公式无法求出，因为。
Stable Diffusion扩散模型【详解】新手也能看懂！！
2401_84760322的博客
09-28 1875
1、Diffusion的整体过程2、加噪过程2.1 加噪的具体细节2.2 加噪过程的公式推导3、去噪过程3.1 图像概率分布4、损失函数5、 伪代码过程此文涉及公式推导，需要参考这篇文章：Stable Diffusion扩散模型推导公式的基础知识。
Stable Diffusion 超详细讲解
热门推荐
略懂……略懂……
06-03 3万+
本文将在《Stable Diffusion原理详解》和《Diffusion Model 深入剖析》这两篇文章的基础上，进一步细致地讲解 Stable Diffusion 的算法原理。
〔007〕Stable Diffusion 之 微调模型 篇
国内某知名游戏公司小菜鸡工程师
06-02 2764
学习不同的模型，让AI成为你的生产力
Stable Diffusion原理说明
benben044的专栏
06-06 5453
在最简单的形式中，Stable Diffusion是一种文本到图像模式，给它一个文本提示（text prompt），它将返回与文本匹配的图像。
Stable Diffusion4
whaosoft143ai的博客
10-23 1694
​在众多模型中，Stable Diffusion 可谓是最出圈的一个，为其捐赠计算资源的英国开源人工智能公司 Stability AI 为此还获得了 1.01 亿美元融资，融资完成后，Stability AI 估值将达到 10 亿美元。最近一段时间，关心 AI 圈的人可能都有这样一种感受：扩散模型被越来越多的人提及，基于扩散模型的各种图片生成工具被开发出来。举例来说，一开始树叶上是一只七星瓢虫，用户擦出掉（如紫色区域）该动物，然后输入自然语言描述「正在找食物的蜜蜂」，点击「替换」按钮就可以了。
解析不同种类的StableDiffusion模型Models，再也不用担心该用什么了
暂时先用这个名字
03-30 1万+
Stable Diffusion是一个基于Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型。具体来说，Stable Diffusion在 LAION-5B 的一个子集上训练了一个Latent Diffusion Models，该模型专门用于文图生成。
Stable Diffusion模型概述
weixin_42010722的博客
01-02 2880
在Stable Diffusion v1中，VAE文件用于改善眼睛和面部的效果。它们是我们刚刚讨论的自动编码器的解码器。通过进一步微调解码器，模型可以呈现更精细的细节。你可能意识到我之前提到的并不完全正确。将图像压缩到潜在空间确实会丢失信息，因为原始的VAE没有恢复出精细的细节。相反，VAE解码器负责绘制精细的细节。这篇文章不完整，没有解释分类器免费引导（CFG），这是AI艺术家每天都在调整的一个值。为了理解它是什么，我们首先需要谈谈它的前身，分类器引导…
stable diffusion模型讲解
zcyzcyjava的博客
05-08 7702
扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。整个运行过程是step by step的，每一步都会增加更多的相关信息。为了更直观地感受整个过程，可以中途查看随机latents矩阵，并观察它是如何转化为视觉噪声的，其中视觉检查（visual inspection）是通过图像解码器进行的。
Stable Diffusion（SD）核心基础知识——（文生图、图生图）
weixin_47748259的博客
01-11 2万+
Stable Diffusion是计算机视觉领域的一个生成式大模型，可以用于文生图，图生图，图像inpainting，ControlNet控制生成，图像超分等丰富的任务。
stable diffusion 常用大模型解释和推荐（持续更新ing）
m0_74942241的博客
05-24 1万+
比如sd-v1-4、sd-v1-5、sd-v2（简写成SD1.5、SD2.0）之类的大模型，这些都是Stable-Diffusion自带的大模型，分别是1.4、1.5和2.0版本。目前的话1.5版本更好用一些，但是基本没有人会用自带的大模型，因为效果很差。 但是，大家如果想自己练大模型的话，SD系列是不错的基础模型，因为他们比较庞杂，什么风格都有，属于中性模型。
Stable Diffusion模型原理
月流霜的专栏
05-10 166
在Stable Diffusion诞生之前，计算机视觉和机器学习方面最重要的突破是 GAN（Generative Adversarial Networks 生成对抗网络）。GAN让超越训练数据已有内容成为可能，从而打开了一个全新领域——现在称之为生成建模。然而，在经历了一段蓬勃发展后，GAN开始暴露出一些瓶颈和弊病，大家倾注了很多心血努力解决对抗性方法所面临的一些瓶颈，但是鲜有突破，GAN由此进入平台期。图像生成缺乏多样性模式崩溃多模态分布学习困难训练时间长。
stable diffusion原论文
最新发布
03-31
Stable Diffusion 是一种基于扩散模型的图像生成技术，其核心算法依赖于深度学习和概率理论。关于 Stable Diffusion 的原始论文，可以通过以下方式定位到相关资源： ### 论文背景 Stable Diffusion 的基础来源于扩散模型的研究成果。扩散模型是一种通过逐步去噪过程生成数据的方法，在图像生成领域表现优异。最初的扩散模型概念可以追溯至 Jonathan Ho 等人在 2020 年提出的 Denoising Diffusion Probabilistic Models (DDPM)[^3]。 然而，具体的 Stable Diffusion 实现及其优化版本则由 Runway 和其他研究团队进一步发展并开源化。这些实现通常会引用更早期的工作作为理论支撑。 ### 关键论文链接 以下是两个可能包含 Stable Diffusion 原始理念的相关学术资源： 1. **Denoising Diffusion Probabilistic Models**: 这篇论文首次提出了扩散模型的核心框架，并详细描述了如何利用前向扩散过程训练逆向生成网络[^3]。可以在 arXiv 上访问该文档：[https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239) 2. **High-Resolution Image Synthesis with Latent Diffusion Models**: 此文章专注于高分辨率图像合成方法，特别是引入潜变量空间中的扩散建模思路[^4]。它可能是理解 Stable Diffusion 架构的重要参考资料之一。同样可在 arXiv 找到此资料：[https://arxiv.org/abs/2112.10752](https://arxiv.org/abs/2112.10752) 如果希望查找更多相关内容或者最新进展，则建议浏览 researchgate.net 或者继续探索 arXiv 中标记为 “diffusion models” 主题下的出版物集合。 ### 技术部署常见问题补充说明 对于提到的技术错误情况，“RuntimeError: Couldn’t determine Stable Diffusion’s hash...”，这通常是由于 Git 版本控制配置不正确引起的问题；而另一个问题是缺少必要的图形库文件 `libGL.so.1` 导致无法加载某些依赖项。针对这些问题已有相应解决方案被记录下来[^1][^2]。 #### 解决方案代码片段展示 当遇到第一个哈希计算失败的情况时，可尝试手动指定路径参数来修正调用逻辑： ```python import subprocess def get_current_hash(dir_path, git_executable="git"): try: result = subprocess.run([f'{git_executable}', '-C', f'{dir_path}', 'rev-parse', 'HEAD'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) if result.returncode != 0: raise Exception(result.stderr.decode()) return result.stdout.strip().decode() except Exception as e: print(f"Failed to retrieve commit hash due to error: {e}") return None ``` 至于第二个导入错误情形下，安装缺失共享对象文件即可缓解状况： ```bash sudo apt-get update && sudo apt-get install -y libgl1-mesa-glx ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值