（二）AIGC—Stable Diffusion(2)

已于 2023-04-24 21:28:46 修改
阅读量420 收藏
点赞数
分类专栏： 8. AIGC 文章标签： AIGC stable diffusion 机器学习
于 2023-04-24 18:17:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rayso9898/article/details/130344070
版权
文章探讨了扩散模型中噪声的逐步增加和减少过程，特别是在DPPM论文中提出的直接从x0到xt的优化方法。通过预设的beta参数线性衰减，模型能在前向过程中加噪声，然后在反向过程中利用贝叶斯原理预测并去除噪声。训练时采用U-Net结构，并通过随机选取时间步长防止模式塌陷。训练过程本质上是一个采样过程，目标是使正向和逆向过程的噪声预测接近。
摘要由CSDN通过智能技术生成

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
越往后，加的噪声越多，逐渐递增

正常的话，类似RNN，前向传递，不利于模型训练。
如果直接从x0到xt最好，DPPM这篇论文就实现了这一目标

在这里插入图片描述
beta这一参数在扩散过程是已知的，前期设计好，从0.0001-0.002，线性衰减，，或者其他衰减，因此，beta1…beta_n肯定是已知的。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

前向加噪声 ： 前向可以直接从x0求出来xT

反向去噪声 : 反向不能直接从xT求出来x0
xT已经知道，求XT-1 … 直到求 x0

根据xT求xT-1比较难求，可以根据贝叶斯，由前向过程中的已知条件求解
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
以上zt不是累乘，公式表示有误
需要求x0，但是在逆过程中x0明显未知，因此，可以使用xt替换x0

有一个参数无法直接求解，
无法直接求解的问题，可以使用近似解，训练一个模型去预测Xt时刻的噪声

loss就是正向过程 加的噪声 和 逆向过程 预测的噪声之间的 某种度量
前向过程提供训练的标签，逆向过程去拟合这个标签

在这里插入图片描述

在这里插入图片描述

扩散模型为什么要用U-Net？
原始论文从信息论和信息熵的角度讲解的，以上简化了
训练完后如何去使用？

2015年提出 - 2020年DALL-E出来才火

在这里插入图片描述

推导过程挺复杂的，编写成代码的算法流程-大道至简，
训练的时候，t是随机的，不是训练固定的步骤数目，防止陷入某种规律当中

  • 训练过程：
    在这里插入图片描述
  • 采样过程
    在这里插入图片描述
Ray Song
关注
专栏目录
stable diffusion2
whaosoft143ai的博客
10-15 1591
之前发了一篇 tensorflow stable diffusion的 ~~ 现在来第二弹扩散模型(DMs)将生成过程顺序分解，基于去噪自动编码器实现，在图像数据和其它数据上实现了先进的生成结果。此外，它们可以添加引导机制来控制图像生成过程而无需再训练。然而，由于这些模型直接在像素空间中操作，优化扩散模型DM消耗数百个GPU天，且由于一步一步顺序计算，推理非常昂贵。为在有限的计算资源上进行DM训练，同时保持其质量和灵活性，本文应用了预训练自动编码器的潜在空间。
在本地PC运行 Stable Diffusion 2.0
deephub
12-04 7864
Stable Diffusion 2.0在前几天已经发布了，新版本在上一个版本的基础上进行了许多改进。OpenCLIP中新的深度检测和更好的文本到图像模型是主要的改进之一。有很多的文章介绍了Stable Diffusion 2.0的改进，所以我们就不多介绍了，这里我们将介绍如何在本地PC上尝试新版本，因为只有我们实际运行成功了，我们才能够通过代码了解它是如何实现的。本文主要介绍如何在本地运行，所以并不涉及代码方面的工作，但是也不代表本文就很简单。注意“模型可以在8GB的VRAM上运行，但分辨率将只能到256
【文生图系列】 Stable Diffusion v2复现教程
陶将的博客
06-06 5220
本教程是Stable Diffusion v2的复现过程，基础环境承接Stable Diffusion v1，过程中也遇到好多bug，最后都一一解决了。
stable diffusion 2.0本地部署和微调
deephub
03-30 3117
本文总计 1500 字，预计阅读需要 6 分钟今天我们来围绕着AUTOMATIC1111的stable-diffusion-webui介绍如何将stable diffusion 2.0 部署到本地，还有在哪里下载基本模型和微调。
零基础读懂Stable Diffusion（II）：怎么训练
张伟的专栏
04-18 3147
在上一篇我们介绍完Stable Diffusion的各个模块和工作流程后，这一篇我们着重讲述了Diffusion是如何训练和推理的。Diffusion's Training: 利用“噪声强度、噪声图、加噪后图片”组成训练集，训练unet，使其学习如何从加噪后的图片推断出所加的噪声。Diffusion's Inference: 利用训练好的unet，从纯噪声中一步一步去噪，得到合理正常的图片。至于语义信息是如何控制生成图片的过程的，我们就留到下篇中再做叙述啦。
AIGC-Stable Diffusion
z240626191s的博客
12-07 1287
Stable Diffusion（稳定扩散）是一种生成式大模型，它在AI领域中标志着一个新的里程碑，为我们揭示了未来将会是AIGC的时代。传统的深度学习模型逐渐向AIGC过渡，这也意味着我们需要学习更多关于AIGC的内容。如果你和我一样是AIGC的，那么学习AIGC模型的基础知识是非常重要的。Stable Diffusion作为一个强大的模型，有着很高的适用性，特别是在生成式任务方面。通过学习它的基本理论和应用，可以更好地理解复杂网络中的信息传播规律，并掌握不同场景下的生成技术。
AIGC stable diffusion完整部署手册 for linux
12-18 2093
AIGC、AI创作、AI绘画、Stable Diffusion
AIGC-Stable Diffusion发展及原理总结
是云就要飞的博客
03-29 2494
AIGC全称是AI Generated Content, 直译：人工智能生成内容，也叫生成式人工智能。AIGC是继­专业生产内容（PGC, Professional-genrated Content）、用户生产内容（UGC，User-generated Content）之后的新型内容创作方式，是互联网内容创作方式的一次革新。AIGC可以在对话、故事、图像、视频和音乐制作等方面，打造全新的数字内容生成与交互形式。
【AIGC】Stable Diffusion安装包
qq_27070223的博客
02-11 743
Stable Diffusion安装教程
【AIGC】Stable Diffusion的常见错误
qq_27070223的博客
02-13 8147
环境变量配置错误：如果 Stable Diffusion 需要特定的环境变量才能正常运行，而这些变量未正确配置，可能会导致错误。检查系统环境：如果您的系统环境设置有问题，可能会导致 Python 找不到所需的模块。如果您遇到权限问题，可以尝试在命令前面加上 sudo（如果您使用的是 Linux 或 macOS 等系统），或者使用管理员权限运行您的命令提示符或终端。检查 Python 安装：确保您正在使用的 Python 安装是完整的，并且没有损坏。确保您的 Python 版本符合模块的要求。
深度学习 lora训练 AIGC Stable Diffusion Lora模型
02-05
文件名“深度学习 lora训练 AIGC Stable Diffusion Lora模型”可能包含了训练此模型所需的资料，包括训练集、验证集、模型配置文件、模型权重等，用于复现和进一步研究这个深度学习应用。通过分析和理解这些数据，...
深度学习 lora训练 AIGC Stable Diffusion Lora模型.zip
08-29
AIGC Stable Diffusion Lora模型是深度学习在Lora通信中的一个具体应用，旨在通过模型学习和优化通信过程中的各种参数，提升系统的稳定性和效率。 Stable Diffusion模型是一种在序列数据处理中广泛应用的深度学习...
深度学习 lora训练 AIGC Stable Diffusion Lora模型.rar
08-28
深度学习 lora训练 AIGC Stable Diffusion Lora模型.rar
【AIGC】AI如何匹配RAG知识库: Embedding实践，语义搜索
最新发布
rekaf66的博客
10-18 984
Embedding是一种将高维数据映射到低维空间的技术。在NLP中，Embedding通常用于将单词、句子或文档转换为连续的向量表示。这些向量不仅保留了原始数据的关键信息，还能够在低维空间中捕捉到语义上的相似性。简单来说，就是机器无法直接识别人类的语言，所以需要通过Embedding去转化成机器能够理解和处理的数值形式。比如："猫"和"狗"由于都是动物，所以它们的Embedding向量在空间上比较接近，而"猫"和"书"由于语义上没有直接关系，所以它们的Embedding向量在空间上距离较远。
【AIGC】AI如何理解文字：Embedding解析
rekaf66的博客
10-16 825
Embedding是一种将高维数据（如文字、图像等）映射到低维空间的技术。在自然语言处理中，embedding通常指的是将单词或短语转换成连续的向量表示。这些向量捕捉了词汇的语义信息，使得相似的词汇在向量空间中距离更近。Embedding是AI理解文字的关键技术之一。通过将高维的one-hot编码向量转换成低维的连续向量，embedding不仅减少了维度，还捕捉了词汇之间的语义关系。常见的用于Embedding的库包括spaCy、Gensim、TensorFlow和PyTorch。
AIGC技术的学习 系列二
qq_45749612的博客
10-16 719
从2022年11月30日OpenAI发布ChatGPT以来，人工智能的相关话题就一直占据新闻的头条，这个领域的相关技术更是日新月异，有人开玩笑说是“天天文艺复兴，日日工业革命”。虽然，这个说法略显夸张，但是还是说明这个话题目前的进展快速，而且收到了广泛的关注。ChatGPT的爆火让大家感受到了大模型的能力，各大公司都在投入资源和人力去开发大模型。“对于大模型,当然会全力以赴,坚决拥抱”，这是雷总4月14号发微博表达的小米对于大模型技术的态度，我们也成立了大模型组去开发自己的大模型。
AIGC技术的学习 系列一
qq_45749612的博客
10-16 698
在全球智能制造的大潮中，我们见证了技术的飞速发展与产业的深刻变革。然而，即便在这样的背景下，工业设计的道路上仍布满了堵点和痛点，它们如同顽石般阻碍着创新的脚步。随着人工智能生成内容（AIGC）技术的兴起与扩散，我们仿佛站在了一个新的起点。AIGC以其卓越的内容生成能力，正在逐步改变我们对创作过程的理解。它不仅能够辅助设计师快速产出多样化的设计方案，还能够在虚拟现实、增强现实等领域开辟新的应用场景，极大地丰富了设计的表达手法和交互体验。
AIGC毕设项目分享：基于RAG的数字人对话系统及其应用
源代码杀手的博客
10-13 334
本研究的主要目标是设计并实现一个基于检索增强生成（RAG）技术的数字人对话系统，旨在提升数字人系统在多轮对话中的上下文管理、情境感知能力以及动态内容生成效果。系统结合了深度学习中的最新大语言模型技术，通过引入RAG框架来增强生成式对话模型，使其能够在对话过程中检索到相关知识，从而提高对话质量和用户体验。本系统在特定场景下展现了智能化和个性化的服务能力，特别适用于展厅、车载交互等应用场景。研究中首先详细探讨了多轮对话的上下文管理与记忆机制。
【火山引擎】AIGC图像风格化 | 风格实践 | PYTHON
静谧、淡雅
10-15 291
【火山引擎】AIGC图像风格化 | 风格实践 | PYTHON
aigc stable diffusion
09-17
"AIGC稳定扩散"是指人工智能全球中心（AIGC）通过稳定的扩散方法来推广和普及人工智能技术。 首先，AIGC稳定扩散的目标是将人工智能技术应用于各个领域，从而促进社会的发展和进步。通过稳定的扩散，AIGC能够确保...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray Song

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值