Stable Diffusion 常用模型下载与说明(保姆级)

那么,接下来我们就要学习怎么使用Stable Diffusion 中最重要的各类模型了。

因为,相比于Midjourney,Stable Diffusion最大的优势就是开源。相比于Midjourney靠开发人员开发的少数模型,SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。(当然你可以通过训练自己的专有模型而专门用于某一用途,这也将成为你作为AI绘画者的最重要的核心竞争力之一)

因此,学会使用各类模型对于学习使用Stable Diffusion非常重要。

常用模型下载网址推荐

目前,模型数量最多的两个网站是https://civitai.com/https://huggingface.co/。civitai又称c站,有非常多精彩纷呈的模型,有了这些模型,我们分分钟就可以变成绘画大师,用AI画出各种我们想要的效果。

C站长这样:

img

你会看到很多模型的预览图被屏蔽了,需要你认证为成人才能浏览。至于为什么要成人才能浏览,想必大家也是懂的都懂。

也正是如此,该网站在国内是被屏蔽的。登录需要科学上网。

Huggingface则相对朴实无华一些,对模型的审核也会更加严格一些。但是好处在于不需要科学上网,而且网速很快

img

Huggingface界面如上。

它是一个综合性的网站,如果我们需要下载模型的话,选择Models。

进入之后,选择Text-to-Image,出来的就都是SD可以用的模型了。

img

除了C站和huggingface,其他的模型网站还有:

https://cyberes.github.io/stable-diffusion-models/

(SD的基础模型,不用科学上网,但是这些模型都一般般,意义不大)

https://rentry.co/sdmodels

(模型很多,但是界面没有C站友好,需要科学上网)

炼丹阁 (www.liandange.com)

(国内的网站,很多都是搬运的C站的模型,合规性未知,通过百度网盘下载)

LiblibAI(www.liblibai.com)

LiblibAI,号称是国内最大的原创AI模型分享网站,但其实很多都是搬运的C站的模型,不过确实也有不少人气原创模型发布者入驻了该网站。

不同模型的说明

如果你去自己下载模型,就会发现有各种不同类型的模型。

具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等,看得人眼花缭乱。这些都是什么意思呢?

Checkpoint/大模型/底模型/主模型

Checkpoint模型是SD能够绘图的基础模型,因此被称为大模型、底模型或者主模型,WebUI上就叫它Stable Diffusion模型。安装完SD软件后,必须搭配主模型才能使用。不同的主模型,其画风和擅长的领域会有侧重。

checkpoint模型包含生成图像所需的一切,不需要额外的文件。但是它们体积很大,通常为2G-7G。

常见文件模式:尾缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)

存放路径: \sd-webui-aki-v4\models\Stable-diffusion

模型的切换界面:

img

目前比较流行和常见的checkpoint模型有Anything系列(v3、v4.5、v5.0)、AbyssOrangeMix3、ChilloutMix、Deliberate、国风系列等等。这些checkpoint模型是从Stable Diffusion基本模型训练而来的,相当于基于原生安卓系统进行的二次开发。目前,大多数模型都是从 v1.4 或 v1.5 训练的。它们使用其他数据进行训练,以生成特定风格或对象的图像。这个我们后面还会专门开一个专题进行讲解。

不同模型在同一参数下的表现有时候可以用天差地别来形容,下面是个例子:

img

LoRA

当下最火的微调模型,可以将某一类型的人物或者事物的风格固定下来。它们通常为10-200 MB。必须与checkpoint模型一起使用。

现在比较火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模型,效果很惊艳。还有一些特定风格的LoRA也非常受欢迎,最著名的有墨心等。这个我们后面也会再开一个专题讲解。

img

常见文件模式:尾缀ckpt、safetensors、pt

存放路径: \sd-webui-aki-v4\models\Lora

有多个方式可以使用

方法1是在生成界面调取选用。这个的好处是可以自己设置预览图,从而有直观的感受。

img

而且部分LORA只支持这种方式使用(不过AI绘画日新月异,说不定哪天规则又变了~)

方法2是以插件形式使用。好处是可以很方便的灵活调用多个LORA,并对他们按着不同比例进行混合。

img

在启动器界面选择模型管理,点击LoRA模型(插件),点击添加模型,选择你要添加的LoRA模型,重启启动器。然后在WebUI界面选择相应的插件和权重比例即可。

img

VAE美化模型/变分自编码器

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。

有的大模型是会自带VAE的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反。

顺便说一句,系统自带的VAE是animevae,效果一般,建议可以使用kl-f8-anime2或者vae-ft-mse-840000-ema-pruned。anime2适合画二次元,840000适合画写实人物。

常见文件模式: 尾缀ckpt、pt

存放路径: \sd-webui-aki-v4\ models\ VAE

模型的切换:

img

Embedding/Textual lnversion/文本反转模型和Hypernetworks

Embeddings 和 Hypernetworks 都属于微调模型,但目前Hypernetworks已经不太用了。

Embeddings/Textual lnversion中文翻译过来叫文本反转,通过仅使用的几张图像,就可以向模型教授新的概念。用于个性化图像生成。Embeddings是定义新关键字以生成新人物或图片风格的小文件。它们很小,通常为10-100 KB。必须将它们与checkpoint模型一起使用。

Embeddings 由于训练简单,文件小,因此一度很受大家欢迎。而且Embeddings 使用方法很简单,在安装之后,只要在提示词中提到它就相当于调用了,很方便。但由于Embeddings使用的训练集较小,因此出来的图片常常只是神似,做不到”形似“,所以目前很多人还是喜欢使用LORA模型。而且Embeddings 是一级目录,每次打开webui时都要加载一遍,太多了会影响webui的“开机速度”(但是不影响运行速度)。

不过有一些Embeddings 还是值得安装,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦。

Embedding

常见文件模式: 尾缀pt

存放路径: \sd-webui-aki-v4\ embeddings

模型的切换通过文件名称来触发

Hypernetworks

常见文件模式: 尾缀pt

存放路径: \sd-webui-aki-v4\ models\ Hypernetworks

模型的切换通过文件名称来触发

DreamBooth模型

DreamBooth,可用于训练预调模型用的。是使用指定主题的图像进行演算,训练后可以让模型产生更精细和个性化的输出图像。

常见模式:尾缀ckpt、safetensors

常见大小:2G-7G

最新版本的DreamBooth是可以把那个Lora算法然后融合进来的

可以训练角色、画风、物件等,使用方法和主模型相同

训练路径:

img

LyCORIS模型

此类模型也可以归为Lora模型,也是属于微调模型的一种。一般文件大小在340M左右。不同的是训练方式与常见的lora不同,但效果似乎会更好不少。

其中本人较喜欢的“Miniature world style 微缩世界风格”就属于这类模型。

img

但要使用此类微调模型,需要先安装一个locon插件,直接将压缩包解压后放到StableDiffusion目录的extensions目录里。

插件地址

https://github.com/KohakuBlueleaf/a1111-sd-webui-locon

img

下载后直接解压缩在extensions中。

img

使用时注意,除了要将lora调入,还要在正向tag开头添加触发词

例如:这个微缩世界风格的lyCORIS的调用,正向描述语如下

mini(ttp), (8k, RAW photo, best quality, masterpiece:1.2), island, cinematic lighting,UHD,miniature, landscape, Crystal ball,on rock, lora:miniatureWorldStyle_v10:0.8

小技巧

如果你下载了一个模型,却不知道怎么安装,打开这个网站

https://spell.novelai.dev/

把你下载的模型拖进去,立马就会帮你解析,告诉你应该放在那里。

不过,由于AI绘画日新月异,有的模型,网站可能还来不及收集和解析,会无法解读。

img

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]安全链接,放心点击

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 6
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值