AI - stableDiffusion
文章平均质量分 76
MicroLindb
IBM China - HCT 混合云迁移任职
展开
-
【StableDiffusion】StableDiffusion 扩散模型的原理、UNet 结构解析、Encoder、CLIP Encoder -> Prompt Embedding(概览)
其实,所谓的“点”,是从 572 * 572 * 1 变成了 32 * 32 * 1024,只是变小了,升维了而已经过卷积之后,才会变成高维的小图像,而不是一开始就是高维在图中,最开始的 Z 是一个格式为 572 \times 572 \times 1 的张量。这意味着 Z 是一个具有单通道(channel)的二维噪声图像。尽管它看起来是一个二维结构,但在扩散模型的上下文中,它仍然可以被理解为在一个高维空间中的点。高维空间的定义在机器学习和深度学习的上下文中,高维空间并不一定仅仅指向量的维数。原创 2024-06-13 02:39:08 · 2470 阅读 · 5 评论 -
【StableDiffusion】Embedding 底层原理,Prompt Embedding,嵌入向量
Embedding 是将自然语言词汇,映射为 固定长度 的词向量 的技术· 说到这里,需要介绍一下 One-Hot 编码 是什么。· One-Hot 编码· 这有坏处,它不仅计算量更大,而且,它是,因为每个词汇表中,每个 One-Hot 矩阵对应的 prompt 都不同。来看看,降维算法能够将这些被 Embedding 转化了的向量在 2维 坐标系上展现成什么样:很明显,意思越是不相同的词语,他们的向量距离在二维平面上也相距越远越是意思相近的词语(cat,猫;原创 2024-06-13 03:05:14 · 604 阅读 · 0 评论 -
【StableDiffusion】Lora 底层原理,低秩适配,Lora 如何与 checkpoint 联合发挥作用
你要了解 Lora,也就是“低秩适配”,你首先得明白“秩”是个什么东西罢?所以,矩阵的 秩 的数量,即是它的 线性独立的行 的多少!也就是说,一个矩阵的 秩 越大,它的 有效信息含量 就越大。原创 2024-06-13 02:55:54 · 1176 阅读 · 0 评论 -
【StableDiffusion】2024.6.4 亲测成功,无魔法 Civitai 镜像,国内下载 Civitai 模型的方法
随便找一个 civitai 上面的模型,按照 github 原作者的说明进行操作(也就是复制 url)进入 sd-webui-model-downloader-cn\scripts 目录。经过我的测试,这个源码一进行预览,就会报错,爆得满屏都是 error。保存,退出,重启 StableDiffusion 的 WEB UI。我不确定这是否是源码本身的问题,有可能是我本地网络环境的问题。把这整个文件直接全部删除,把我下面的代码黏贴进去。黏贴,预览,成功的话点击“下载”输入cmd,回车,打开cmd,原创 2024-06-04 21:48:04 · 7276 阅读 · 7 评论 -
【StableDiffusion·秋叶4.8】ADetailer: Failed to load model ‘yolov8x-worldv2.pt‘ from huggingface 报错
在源代码中,引用 yolo 相关文件的时候,大部分都采用了从云端下载的方法,但是,huggingface已经被墙了。注释掉这个 get_models() 函数(主要是怕改崩溃了,留个备份)把 yolov8x-worldv2.pt 文件找个合适的目录扔进去。重写一个新的 get_models() 函数。所以说,下载不到很正常。原创 2024-06-03 21:26:53 · 2252 阅读 · 0 评论 -
【StableDiffusion】SD1.4、1.5、2.0、2.1 和 SDXL0.9-1.0、SDXL turbo 等的区别
1.基础sd base model家族:SD1.4、SD1.5、SD1.5-LCM、SD2.0、SD2.0-768、SD2.1、SD2.1-768、SD2.1-UNCLIP2.升级sdxl base model家族:SDXL0.9、SDXL1.0、SDXL1.0-LCM、SDXL-DISTILLED、SDXL-TURBO3.专门用于视频生成的 SVD 家族:SVD、SVD-XT4.最新科研:playground-v2、PixArt-α。原创 2024-05-28 01:00:18 · 4825 阅读 · 0 评论 -
【StableDiffusion】cannot import name ‘create_sampler_and_steps_selection’ from ‘modules.ui‘
1.我使用的是秋叶版本的整合包2.在安装了 mov2mov 后,一键启动报错如标题3.原因解释:modules.ui这个包里没有 create_sampler_and_steps_selection 函数。原创 2024-05-24 21:08:21 · 1041 阅读 · 9 评论 -
【AI绘画-stableDiffusion】图片放大;高清修复;重绘幅度调参讲解;SD upscale 放大脚本
区块重绘,再拼接(优点:效果更好。1.可以在 图库浏览器 中打开我们生成过的图片(也可以直接图生图,但那就会丢失关键词了)3.等比缩放比例调节为 2~3 之间(或其他,自行尝试,这只是一个推荐值)4.选择神经网络,推荐使用 BSRGAN,或者 SwinIR_4x。,但如果你需要让画面更明亮一些,而非真实一些,那就使用后者。用于没有现有图片的时候,我们想要直接生成高分辨率版本的时候。设置 -> 放大 -> 图生图的放大算法(1.在“图生图”中选择脚本“使用SD”放大。2.SD upscale(SD放大)原创 2023-10-31 00:49:46 · 6965 阅读 · 2 评论