stable diffusion深度解析｜sd1.5、sdxl、checkpoint、lora 含义与原理

前言

大家好，我是Lison，接触AI绘画以来，发现很多时候对一些基础词汇理解地很模糊，然后在搭建comfyui工作流时，只能知其然，不知其所以然的感觉，也不知搭选哪个模型，很多时候都是照猫画虎地模仿，很难受。而且，很多时候，网上找不到详细地教程来详细解释这些含义。

好在我周围有很多算法同学，在跟他们交流中，对一些基础词汇有了比较深刻的了解，在这里做了个分享。

今天给大家分享的是 stable diffusion中的一些基础问题，主要分三块：

1. SDXL、SD1.5是什么意思

2. checkpoint、lora是什么意思

3. checkpoint和lora的区别

放轻松，我会通过设计师的视角帮大家更好地理解。

问题1：SDXL、SD1.5这些版本有什么区别，到底有多少版本？

为什么会出现这个问题，是因为每次在浏览网站时，左上角的xl，lora等搞得我莫名其妙，云里雾里。一会儿1.0，一会儿1.5，一会儿XL，不明所以。

经过我一番研究，发现是这么回事：sd是stable diffusion的缩写，后面的后缀其实是各个版本的称号；

Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览：

1. Stable Diffusion v1.0 (2022年8月)首次公开发布

2. Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新，主要改进模型性能和质量

3. Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进

4. Stable Diffusion v2.0 (2022年11月)重大更新，改进了文本理解和图像质量

5. Stable Diffusion v2.1 (2022年12月)对2.0的改进，增强了生成能力

6. Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本

7. Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本，大幅提升了模型能力

每个版本都比之前的版本生图质量更好，学习的图片数量也更多。接下来就给大家简单做个区分：

SD v1.1-1.5：训练的图片基本上都是 512*512 大小；

SD v2.0-2.1: 训练的图片大小是768*768；

SD XL：分别以600000步256*256 和200000步 512*512 大小的图片进行训练，适合生成1024*1024大小的图片，生成质量大大提高，非常受欢迎。

简单理解就是SD的每一个版本都比之前的版本 训练的步数更多，出图的质量更好。

那这么多版本，我应该下载哪个版本最合适呢？这里我推荐大家下载sd1.5和sdXL这两个版本，因为1.5版本生态最繁荣，sdXL 出图质量最好，画面表现高，但是占用显存略高，训练速度慢。

如果大家现在手里还没有这两个模型，可以去我微信公众号：体验设计，或者

底部评论来联系我获取。

问题2:checkpoint、lora是什么意思？

梳理了stable diffusion各版本之后，接下来帮大家理解checkpoint和lora的含义和不同；

2.1什么是checkpoint？

官方：

Checkpoint是深度学习中常用的一个术语，用于描述在每次训练后保存模型参数（权重）的惯例。类似于游戏中保存关卡的功能，Checkpoint允许我们在训练过程中保存模型的状态，以便之后可以加载这些保存的参数并继续训练或进行推理。

简单理解的话，checkpoint就是在stable diffusion底模的基础上，再次训练得到特定风格的，更适合生成某种调性图片的模型。

所以我们可以在liblib上看到很多的checkpoint，这些都是在底模的基础上再次训练得到的。

每种checkpoint都可以在详情页中看到基础模型的版本，看下图：

这个大家要注意了。controlnet跟模型的版本是一一对应的，如果checkpoint的版本和controlnet模型版本不一致，就会报错，因为训练的图片尺寸不一样。

报错信息如下：

2.2:什么是lora？

lora（Localized Refinement of Attributes）不同于checkpoint，lora可以看成是在基础模型生成的图片上，加了一层“滤镜”，达到切换风格的效果。因此他的体积很小，只有几百MB，受到很多小伙伴的青睐，毕竟一般人没有那么大的算力和时间去训练一个checkpoint，但是训练一个lora只要几个小时，而且要的训练素材也很少，优势很大，非常吸引人。

我们可以把lora理解成lol中的皮肤，原始的皮肤是大模型，后续的皮肤就是lora，lora可以改变英雄的服装，姿态，但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。

我们可以在很多网站上下载不同风格的lora，有时候大家会遇到一个问题，就是lora出来的图片效果没有网站发布的案例好看，可能是因为没有选对底模的原因。

或者是没有输入触发词：

问题3：checkpoint和lora 的区别在哪里：

如果大家仔细看过上面的内容，不难理解两者的区别：

最后怎么在comfyui中选lora，需要在“新建节点”下找到“加载器”，再找到“lora加载器”：

然后再lora节点中选择自己已经下载好的lora就可以啦

lora文件的存储位置在：models下的loras中

后记：
针对各位初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

• GPT的定义与概述
• GPT与其他AI对比区别
• GPT超强记忆力体验
• 万能GPT如何帮你解决一切问题？
• GPT表达方式优化
• GPT多类复杂应用场景解读
• 3步刨根问底获取终极方案
• 4步提高技巧-GPT高情商沟通
• GPT深度玩法应用场景
• GPT高级角色扮演-教学老师
• GPT高级角色扮演-育儿专家
• GPT高级角色扮演-职业顾问
• GPT高级角色扮演-专业私人健身教练
• GPT高级角色扮演-心理健康顾问
• GPT高级角色扮演-程序UX/UI界面开发顾问
• GPT高级角色扮演-产品经理
• GPT高级技巧-游戏IP角色扮演
• GPT高级技巧-文本冒险游戏引导
• GPT实操练习-销售行业
• GPT实操练习-菜谱推荐
• GPT实操练习-美容护肤
• GPT实操练习-知识问答
• GPT实操练习-语言学习
• GPT实操练习-科学减脂
• GPT实操练习-情感咨询
• GPT实操练习-私人医生
• GPT实操练习-语言翻译
• GPT实操练习-作业辅导
• GPT实操练习-聊天陪伴
• GPT实操练习-育儿建议
• GPT实操练习-资产配置
• GPT实操练习-教学课程编排
• GPT实操练习-活动策划
• GPT实操练习-法律顾问
• GPT实操练习-旅游指南
• GPT实操练习-编辑剧本
• GPT实操练习-面试招聘
• GPT实操练习-宠物护理和训练
• GPT实操练习-吸睛爆款标题生成
• GPT实操练习-自媒体爆款软件拆解
• GPT实操练习-自媒体文章创作
• GPT实操练习-高效写作推广方案
• GPT实操练习-星座分析
• GPT实操练习-原创音乐创作
• GPT实操练习-起名/解梦/写诗/写情书/写小说
• GPT提升工作效率-Word关键字词提取
• GPT提升工作效率-Word翻译实现
• GPT提升工作效率-Word自动填写、排版
• GPT提升工作效率-Word自动纠错、建议
• GPT提升工作效率-Word批量生产优质文章
• GPT提升工作效率-Excel自动化实现数据计算、分析
• GPT提升工作效率-Excel快速生成、拆分及合并实战
• GPT提升工作效率-Excel生成复杂任务实战
• GPT提升工作效率-Excel用Chat Excel让效率起飞
• GPT提升工作效率–PPT文档内容读取实现
• GPT提升工作效率–PPT快速批量调整PPT文档
• GPT提升工作效率-文件批量创建、复制、移动等高效操作
• GPT提升工作效率-文件遍历、搜索等高效操作
• GPT提升工作效率-邮件自动发送
• GPT提升工作效率-邮件自动回复
• GPT接入QQ与QQ群实战
• GPT接入微信与微信群实战
• GPT接入QQ与VX多用户访问实战
• GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

• -----------
  AI绘画定义与概述
• AI绘画的应用领域
• AI绘画与传统绘画的区别
• AI绘画的工具分类介绍
• AI绘画工具-Midjourney
• AI绘画工具-百度文心一格
• AI绘画工具-SDWebUI
• AI绘画工具-Vega AI
• AI绘画工具-微信中的AI绘画小程序
• Midjourney学习-Discord账号的注册
• Midjourney Bot界面讲解
• Midjourney提示词入门
• Midjourney高级提示词
• Midjourney版本参数学解读
• Midjourney功能参数
• Midjourney上采样参数
• AI绘画组合应用1-Midjourney + GPT
• AI绘画组合应用2-Stable Diffusion + GPT
• AI绘画组合应用3-AI绘画+ GPT +小红书
• AI绘画组合应用4-AI绘画+ GPT +抖音
• AI绘画组合应用5-AI绘画+ GPT +公众号
• AI绘画组合应用6-AI绘画+ GPT + AI视频
• AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
• AI绘画设计-Logo设计
• AI绘画设计-套用万能公式
• AI绘画设计-引用艺术风格
• AI绘画设计-GPT加速设计方案落地
• AI绘画设计-Vega AI渲染线稿生成设计
• AI绘画设计-摄影
• AI绘画设计-头像设计
• AI绘画设计-海报设计
• AI绘画设计-模特换装
• AI绘画设计-家具设计
• AI绘画设计-潘顿椅设计
• AI绘画设计-沙发设计
• AI绘画设计-电视柜设计
• AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• -----------
  AI视频定义与概述
• AI视频制作-方案与创新
• AI视频制作-各种工具实操
• AI视频制作-美学风格(油画/插画/日漫/水墨)
• AI视频制作-形象设定(人物形象服装/造型/表情)
• AI视频画面特效处理
• AI视频画面拼接
• AI视频画面配音
• AI视频画面包装
• AI视频锁定人物逐一精修
• 多种表情动作/情节
• 动态模型转换-视频内部元素关键帧
• 动态模型转换-图像整体运动
• 动态模型转换-虚拟人
• 动态模型转换-表面特效
• AI自媒体视频-深问GPT，获取方案
• AI自媒体视频-风格设置(诗歌/文言文等)
• AI自媒体视频-各行业创意视频设计思路
• AI视频风格转换
• AI视频字数压缩
• AI视频同类型衍生
• AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

• -----------
  AI数字人工具简介
• AI工作台界面功能展示及介绍
• AI数字人任务确定
• AI数字人素材准备
• AI知识、语料的投喂
• AI模型训练
• AI训练成果展示及改进
• AI数字人直播系统工具使用
• AI人物在各平台直播
• AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

-----------

• AI-小红书引流变现
• AI-公众号引流变现
• AI-知乎引流变现
• AI-抖音引流/带货变现
• AI-写作变现
• AI-B站引流变现
• AI-快手引流变现
• AI-百家号引流变现
• AI-制作素材模板出售变现
• AI-周边定制变现
• AI-手机壳图案定制变现
• AI-周边产品定制变现
• AI-服装图案定制变现
• AI-个性头像定制变现
• AI-起号与知识付费变现
• AI-实现淘宝销售变现

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！