Diffusion Model && Stable Diffusion(笔记)

已于 2025-01-17 15:53:29 修改
阅读量383 收藏 4
点赞数 4
分类专栏： 深度学习 文章标签： 笔记
于 2024-09-22 01:16:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35975367/article/details/142427725
版权

参考资料：

扩散模型 - Diffusion Model【李宏毅2023】
深入浅出扩散模型(Diffusion Model)系列：基石DDPM（模型架构篇），最详细的DDPM架构图解
深入浅出扩散模型(Diffusion Model)系列：基石DDPM（人人都能看懂的数学原理篇）
深入浅出完整解析Stable Diffusion（SD）核心基础知识
stable diffusion原理解读通俗易懂，史诗级万字爆肝长文，喂到你嘴里

文章目录

DDPM架构

在这里插入图片描述

模型如何拥有产生逼真图片的能力

Denoise模型功能

通过Denoise将一个噪音图一步步生成为目标图像
在这里插入图片描述
Denoise实际功能是通过一个图x+时间戳，生成该图中噪音点y，然后用原图x-y得到去掉噪音点的图
在这里插入图片描述

Denoise模型如何训练

Denoise模型的能力是根据图x和时间戳，识别x中的噪音点。那么训练就是反过来
x(原图)+噪音y(随机高斯分布得到)=噪音图z
现在将z和时间戳作为数据，然后将噪音y作为标准答案，然后巡训练模型
在这里插入图片描述

考虑进文字

就是输入的时候多输入一个文字信息，训练的时候也是多输入一个文字信息
在这里插入图片描述

在这里插入图片描述

文生图流程(Stable Diffusion)

在这里插入图片描述

由浅入深理解Latent Diffusion/Stable Diffusion(3)：一步一步搭建自己的Stable Diffusion Models
沉迷单车的追风少年
11-30 4万+
关于如何使用stable diffusion的文章已经够多了，但是由浅入深探索stable diffusion models背后原理，如何在自己的科研中运用stable diffusion预训练模型的博客少之又少。本系列计划写5篇文章，和读者一起遨游diffusion models的世界！本文主要介绍带大家一步步搭建自己的stable diffusion models。
stable diffusion 量化学习笔记
谢白羽
01-11 627
简单学习介绍量化背景补充1)tensorFlow python版本其实是调用的TensorFlow C的接口2)libtorch其实是pytorch的C++版本3)cublas是实现矩阵相乘的功能4)cudnn主要实现dnn上的一些算子功能，例如卷积等5)不同NVIDIA显卡架构间不兼容，同代显卡基本是同架构优化策略1、低精度优化 ：int8 int162、Kernel自动调优例如：cublas gemm多种实现：①不用shared memory；②小矩阵相乘；③使用额外显存的策略。
stable diffusion代码学习笔记
qq_33596242的博客
01-11 1921
其实就是log(1-alpha(右下角t)(头上直线))，没有带prev的都是当前时刻t，带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img)，继续迭代，最终生成需要的图片。另外，还有一些参数是训练时候保存的，betas逐渐增大，用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的，论文中有公式推理。
latent-diffusion model测试&训练
weixin_44796129的博客
09-14 629
最近在看ldm，稍微理解了一些原理，开始上手测试，开始栽树，记录一下。
Stable Diffusion学习
weixin_44001371的博客
06-26 1257
如果不解释无分类器引导（Classifier-Free Guidance，CFG），这篇文章将是不完整的，这是AI艺术家每天调来调去的值。要了解它是什么，我们需要首先触及它的前身，分类器引导（Classifier Guidance）。
学习笔记（二）----diffusion model
weixin_52121118的博客
04-01 1541
（本文介绍的diffusion Model 是论文：Denoising Diffusion Probabilistic Models(DDPM)去噪扩散概率模型，DDPM是2020年提出，是AIGC主流生成模型）我们可以看到最近很火的text-to-image，通过给定文本描述生成图片，当前最先进的两个text-to-image是OpenAI的DALL E2和Google的Imagen，他们都是基于扩散模型来完成的。什么是扩散模型？|Lil'Log的 (lilianweng.github.io)
Stable Diffusion 模型下载本地安装
炀炀的专栏
05-24 785
介绍模型文件的下载，以及在整合包中如果加载使用。整合包默认仅包含一个模型文件。简单理解，每个模型文件代表不同的图片风格，如国风、写实、卡通、动漫、风景、建筑等。可以根据想要的风格选择。
Stable Diffusion简介
2401_85116933的博客
08-14 886
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion1.5网络结构-超详细原创
热门推荐
xd_wjc的博客
11-16 1万+
Stable Diffusion1.5网络结构
【扩散模型核心思想讲解】李宏毅 2023 最新 Diffusion Model 原理讲解
kebijuelun的博客
04-14 6962
本文为 Diffusion Model 课程的学习笔记，详细讲解了扩散模型（Diffusion Model）的基本原理、应用场景、以及与其他生成模型如 VAE 和 GAN 的对比。
PyTorch笔记 - Diffusion Model 源码开发 (2)
AGI
12-05 861
流程如下： 1. 选择一个数据集 2. 确定超参数的值 3. 确定扩散过程任意时刻的采样值 4. 演示原始数据分布加噪100步后的效果 5. 编写拟合逆扩散过程高斯分布的模型 6. 编写训练的误差函数 7. 编写逆扩散采样函数(inference过程) 8. 开始训练模型，并打印loss及中间的重构效果 9. 动画演示扩散过程和逆扩散过程
[翻译+笔记] 用于视频生成的Diffusion Model
wjpwjpwjp0831的博客
08-30 1400
这次翻译+笔记的博客是https://lilianweng.github.io/posts/2021-07-11-diffusion-models/在阅读这篇博客前, 推荐先对Diffusion Model进行了解. 可以看我的笔记: https://blog.csdn.net/wjpwjpwjp0831/article/details/141524088视频相关的任务向来是比图像更有挑战性, 这是因为视频除了空间域之外, 还有时间域, 并且还要保证时空连续性, 来达到合理的结果. 此外, 对于视频任务来说
苍穹外卖学习笔记
2301_77599154的博客
03-21 1667
1).用户层本项目中在构建系统管理后台的前端页面，我们会用到H5、Vue.js、ElementUI、apache echarts(展示图表)等技术。而在构建移动端应用时，我们会使用到微信小程序2).网关层Nginx是一个服务器，主要用来作为Http服务器，部署静态资源，访问性能高。在Nginx中还有两个比较重要的作用： 反向代理和负载均衡， 在进行项目部署时，要实现Tomcat的负载均衡，就可以通过Nginx来实现。3).应用层。
python速通小笔记-------2.类和对象
2301_80374809的博客
03-22 580
类似c++中类的this指针可以看到，这是类内部定义的一个函数，参数必须要有self,而且访问类的内部成员时要带上 self.成员变量。
Linux Shell 基础操作笔记
最新发布
Tttian622的博客
03-25 286
涵盖了Linux Shell的基础操作，包括目录导航、文件操作、权限管理，以及Shell脚本编程的基本语法和常用功能。通过实践这些命令和脚本编写技巧，可以高效地进行Linux环境下的开发和系统管理任务。
《AI大模型开发笔记》企业RAG技术实战（二）
qq837993702的博客
03-23 876
接上一篇《AI大模型开发笔记》企业RAG技术实战（一）
网管软件Zabbix3.4.8 使用笔记 - 更改记录保留的时间 20250325
coldwind的专栏
03-25 202
对于已经应用到Zabbix中的Item项如何修改其数据保留的时间
关于功耗检测功能开发笔记
weixin_49048045的博客
03-24 162
差分输入的是将两个输入端的差值作为信号，这样可以免去一些误差，比如你输入一个1V的信号可电源有偏差实际输入要大0.1.就可以用差分输入1V和2V一减就把两端共有的那0.1误差剪掉了。电路模型：设想通过采集R29采样电阻两端电压，推算出回路电流，从而计算出R28负载电阻功耗。单端采样需要采集设备与被采集电路供地，以地平面作为回路参考采集单根电压信号。4.尝试用LM3358搭建差分信号放大电路，但是搭建后实际测试结果不理想。1.信号采样区分为单端采样还是差分采样。5.差分信号转单端信号电路参考。
leg_wheel-笔记
yunddun的博客
03-23 211
根据simulink计算得到状态矩阵K。
stable diffusion 笔记本
02-26
### 安装和运行 Stable Diffusion 模型 #### 选择合适的操作系统版本 对于 Windows、Linux 和 macOS 平台，Stable Diffusion WebUI 均有对应的版本提供支持[^2]。 #### 使用 Colab 进行简易部署 一种简便的方法是在 Google Colab 中启动 Stable Diffusion WebUI。这不需要本地安装任何软件，仅需访问项目 GitHub 页面，选取适合需求的 Colab 笔记本版本，并通过点击 "Open in Colab" 来开启笔记本，在其中依照指引完成环境搭建与模型加载操作后即可进入 WebUI 界面开始创作工作流程[^4]。 #### 本地安装步骤概览 如果偏好于本地执行，则可以考虑如下方案： - **准备依赖项** - 更新 Python 至最新版。 - 利用 pip 或 conda 工具来获取所需的库文件集合。 - **克隆仓库** ```bash git clone https://github.com/AUTOMATIC1788/Auto-GPTQ-webui.git cd Auto-GPTQ-webui ``` - **创建虚拟环境并激活** ```bash conda create --name sd python=3.9 conda activate sd pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116 pip install -r requirements.txt ``` - **下载预训练权重** 可以从 Hugging Face 或者其他公开资源处取得官方发布的 checkpoint 文件。 - **启动服务端口监听** 执行 `webui-user.bat` (Windows) 或者 `./webui.sh` (Unix-like)，随后浏览器会自动跳转至指定地址显示图形化交互面板。 ```python import gradio as gr from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler model_id = "stabilityai/stable-diffusion-2-base" scheduler = EulerAncestralDiscreteSampler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler) def generate_image(prompt): image = pipe(prompt).images[0] return image gr.Interface(fn=generate_image, inputs="text", outputs="image").launch() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值