自接触AI绘画以来,我发现很多朋友对一些基础词汇理解地很模糊,然后在搭建comfyui工作流时,只能知其然,不知其所以然的感觉,也不知搭选哪个模型,很多时候都是照猫画虎地模仿,很难受。而且,很多时候,网上找不到详细地教程来详细解释这些含义。
今天我将对一些基础词汇做一个复盘,在这里做了个分享。
今天给大家分享的是 stable diffusion中的一些基础问题,主要分三块:
-
SDXL、SD1.5是什么意思
-
checkpoint、lora是什么意思
-
checkpoint和lora的区别
放轻松,我会通过设计师的视角帮大家更好地理解。
问题1:SDXL、SD1.5这些版本有什么区别,到底有多少版本?
为什么会出现这个问题,是因为每次在浏览网站或者别人的视频时,左上角的xl,lora等搞得我莫名其妙,云里雾里。一会儿1.0,一会儿1.5,一会儿XL,不明所以。
其实这么回事:SD是stable diffusion的缩写,后面的后缀其实是各个版本的称号;
Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览:
-
Stable Diffusion v1.0 (2022年8月)首次公开发布
-
Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新,主要改进模型性能和质量
-
Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进
-
Stable Diffusion v2.0 (2022年11月)重大更新,改进了文本理解和图像质量
-
Stable Diffusion v2.1 (2022年12月)对2.0的改进,增强了生成能力
-
Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本
-
Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本,大幅提升了模型能力
每个版本都比之前的版本生图质量更好,学习的图片数量也更多。接下来就给大家简单做个区分:
SD v1.1-1.5:训练的图片基本上都是 512*512 大小;
SD v2.0-2.1: 训练的图片大小是768*768;
SD XL:分别以600000步256*256 和200000步 512*512 大小的图片进行训练,适合生成1024*1024大小的图片,生成质量大大提高,非常受欢迎。
简单理解就是SD的每一个版本都比之前的版本 训练的步数更多,出图的质量更好。
那这么多版本,我应该下载哪个版本最合适呢?这里我推荐大家下载sd1.5和sdXL这两个版本,因为1.5版本生态最繁荣,sdXL 出图质量最好,画面表现高,但是占用显存略高,训练速度慢。
如果大家现在手里还没有这两个模型,可以看下方扫描免费获取模型文件
问题2:checkpoint、lora是什么意思?
梳理了stable diffusion各版本之后,接下来帮大家理解checkpoint和lora的含义和不同;
2.1什么是checkpoint?
Checkpoint是深度学习中常用的一个术语,用于描述在每次训练后保存模型参数(权重)的惯例。类似于游戏中保存关卡的功能,Checkpoint允许我们在训练过程中保存模型的状态,以便之后可以加载这些保存的参数并继续训练或进行推理。
简单理解的话,checkpoint就是在stable diffusion底模的基础上,再次训练得到特定风格的,更适合生成某种调性图片的模型。
所以我们可以在网上看到很多的checkpoint,这些都是在底模的基础上再次训练得到的。
每种checkpoint都可以在详情页中看到基础模型的版本,看下图:
这个大家要注意了。ControlNet 跟模型的版本是一一对应的,如果checkpoint的版本和ControlNet 模型版本不一致,就会报错,因为训练的图片尺寸不一样。
报错信息如下:
2.2:什么是lora?
lora(Localized Refinement of Attributes)不同于checkpoint,lora可以看成是在基础模型生成的图片上,加了一层“滤镜”,达到切换风格的效果。因此他的体积很小,只有几百MB,受到很多小伙伴的青睐,毕竟一般人没有那么大的算力和时间去训练一个checkpoint,但是训练一个lora只要几个小时,而且要的训练素材也很少,优势很大,非常吸引人。
我们可以把lora理解成英雄联盟中的皮肤,原始的皮肤是大模型,后续的皮肤就是lora,lora可以改变英雄的服装,姿态,但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。
我们可以在很多网站上下载不同风格的lora,有时候大家会遇到一个问题,就是lora出来的图片效果没有网站发布的案例好看,可能是因为没有选对底模的原因。
或者是没有输入触发词:
问题3:checkpoint和lora 的区别在哪里:
如果大家仔细看过上面的内容,不难理解两者的区别:
最后怎么在AI绘画工具ComfyUI中选lora,需要在“新建节点”下找到“加载器”,再找到“lora加载器”:
然后再lora节点中选择自己已经下载好的lora就可以啦
lora文件的存储位置在:models下的loras中
今天的分享到这里就结束了,通过这篇文章,希望大家能更好的理解sd各版本的差异和lora的使用,了解了这些基础知识之后,可以帮助大家更快地上手ComfyUI
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
