Stable Diffusion【模型篇】：LORA模型

于 2025-02-22 15:01:35 发布
阅读量1.1k 收藏 27
点赞数 28
分类专栏： AI绘画 SD应用教程 文章标签： stable diffusion stablediffusion 人工智能 AI绘画 AIGC AI作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/145795322
版权

SD的模型分为3大类：大模型、小模型、VAE模型。其中，小模型主要是指微调模型，而微调模型中，最重要的就是LORA模型。今天我们重点介绍一下LOAR模型，大家和我一起来看看吧。
在这里插入图片描述

一. LOAR模型 介绍

我们知道，大模型主要用于决定绘图的风格。比如，二次元、真人、国风等风格。一般是通过Dreambooth训练得到，出图效果相对较好，但是由于训练的是一个完整的新模型，所以训练速度普遍偏慢，生成模型的文件较大，一般都在几个G。

LORA模型，可以简单的理解是大模型的补丁，用于满足一种特定的风格，或者指定的人物特征或动作特征，增强绘制图片的细节。LOAR模型必须结合大模型一起使用，但是由于使用效果较好并且训练较为快速和简单，而且大小也相对较小，一般在几十到上百兆之间，因此LORA模型是目前性价比最高的，也是最常用的微调模型。

由于LORA模型训练相对简单容易些，因此针对各种大模型很多大神们都训练了各种各样适用不同风格的LORA模型，并且开放到互联网上面提供给广大的AI绘画者免费下载使用，通常情况，我们只需要直接拿来使用即可。当然，我们也可以训练自己的LORA模型，关于如何训练自己的LORA模型，后面的文章再分享。

二. LOAR模型安装

LOAR模型的下载

国外：

（C站）

国内：

（炼丹阁）

（吐司）

（哩布哩布AI）

我们以C站为例，国内的很多网站的界面风格和操作都和C站类似。

在这里插入图片描述

在C站的很多图片左上方（模型界面）都有一个小标签，如果这个标签是LoRA,就表示这个是LORA模型，当然，如果这个标签是CHECKPOINT，就表示这个是大模型。

我们点击这个图片，会进入到LORA模型对应的详细信息界面，这个界面提供了模型的下载。

在这里插入图片描述

点击【Download】按钮就可以把模型下载到本地。

LOAR模型的安装

以autoDL算力云为例，直接将下载的文件放到下面的目录即可。

在这里插入图片描述

安装完成后，在SD Web UI界面就可以查看对应的LORA模型了。

在这里插入图片描述

三. LOAR模型的使用

触发词

所谓触发词，就是某些LORA必须在提示词里面添加这些触发词才生效。一般在LORA的下载界面，都会提供触发词。如果没有的话，使用这个LORA可能就不需要触发词。建议大家在使用LORA的时候注意留心一下触发词。

在这里插入图片描述

权重

在使用LORA模型绘图的提示词中，除了包含有触发词之外，还可以设置LORA模型的权重。使用方式loar:LORA模型名称:权重**，**其中权重默认值是0.8。这个参数值可以根据具体情况进行调整。

在提示词中，一般触发词和LORA模型放到一起,格式如下：

(触发词)，loar:LORA模型名称:权重

相关说明：

（1）在一张图片绘制中，根据绘图的需要，可以使用多个LORA模型，即使用LORA分层。比如使用LORA1控制画面整体风格，LORA2控制画面中人的脸，LORA3控制画面中人的服装。在实际使用中大家注意多个LORA模型的占比。这个就不展开了，大家可以参考https://github.com/hako-mikan/sd-webui-lora-block-weight了解一下。

（2）大家要注意阅读LORA模型下载页面的详细信息，这个里面经常提供了LORA模型的权重值范围。

在这里插入图片描述

使用实例

下面我以一个具体实例为例来讲解LOAR模型的使用。

大模型：majicmixRealistic_v6.safetensors

正向提示词：(8k, best quality, masterpiece:1.2), (realistic, photo-realistic:1.2),1girl,perfect face, perfect eyes,pureerosface_v1, blue hanfu, ming style,(full body:1.2),

反向提示词：(EasyNegative:1.2),(Bad_Prompt_v2:0.8),(Bad_Hands_5),sketch by Bad_Artist, (worst quality, low quality:1.4), (bad anatomy), watermark, signature, text, logo,contact, (extra limbs),Six fingers,Low quality fingers,monochrome,(((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),less fingers,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, (depth of field, bokeh, blurry:1.4),blurry background,bandages,

LORA模型：hanfu_v30Song

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

关于使用的汉服LOAR模型，大家可以看一下模型下载页面的使用说明。这里有触发词使用方法和权重的建议值。

在这里插入图片描述

利用脚本分析LORA模型权重

使用脚本分析LORA模型权重，需要使用到Additional Networks插件，插件的安装(需要的小伙伴可以文末自行扫描获取)

在这里插入图片描述

安装完成后，需要重启SD WEB UI,会发现界面多了一个Additional Networks插件选项。

在这里插入图片描述

下面我们来看看如何使用。

在Additional Networks设置LORA模型为hanfu_v30Song。

在这里插入图片描述

在脚本中选择【X/Y/Z plot】,设置X轴类型为AddNet Weight1，值为我们的权重值。

在这里插入图片描述

我们看一下最后生成的效果。

在这里插入图片描述

可以看到，LORA权重从0.25到1的过程中，图片的背景，人物，服饰都是在变化的。当LORA为1的时候，图片就崩了。在权重为0.5-0.75之间，效果融合得相对较好。

四. LOAR模型使用注意事项

（1）LORA模型必须结合大模型一起使用，所以使用LORA模型时候，务必要清楚这个LORA模型是在哪些模型下面训练出来的，一般在LORA模型下载界面的介绍信息中或者提供的图片中可以查到。通常来说，LORA模型在这些大模型下面使用效果会比较好。

（2）要习惯阅读LORA模型下载界面对于该模型相关的介绍信息，不管是国外还是国内网站提供的模型界面，模型上传的大神们很多都提供了详细的使用说明，我们了解了之后，在具体使用的时候会让我们少走很多弯路。

在这里插入图片描述

（3）LORA模型非常的多，很多的特效实现都是基于LORA来实现的。所以SD绘图要想制作非常优秀的图片，LOAR的使用是必须要掌握的内容。但是LORA很多时候都是拿来即用的，所以更多时候需要我们去尝试去使用体验，在具体场景使用哪些模型对应的哪些LORA，充分积累我们使用LORA解决问题的经验。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

stable diffusion 模型和lora融合
liguandong
06-21 1448
接下来学习的插件名字叫做 SuperMerger，它的作用正如其名，可以融合大模型或者 LoRA，一般来说会结合之前的插件 LoRA Block Weight 使用，在调整完成 LoRA 模型的权重后使用改插件进行重新打包。实际上，目前市面上存在大量的 Checkpoint 模型都是经由合并这种方式得来，这类模型一般名字中都带有 Mix，如国内比较知名的作者GhostInShell: https://www.zhihu.com/peo。NONE是指原图，ALL是指LORA全开权重为1的图。
Stable Diffusion 模型分享：RealCartoon3D - V14
水滴的博客
02-05 980
RealCartoon3D 是一个动漫卡通混合现实风格的模型，具有真实卡通的 3D 效果，当前更新到 V14 版本。RealCartoon3D 是我上传的第一个模型。我仍在学习这些东西，但想创建一个检查点，以在出现我喜欢的外观提示时执行我想要的操作。人类的多样性（即非洲、欧洲、亚洲等）。我不希望它只是产生与我到处看到的相同的外观。制作具有真实感的卡通外观好好利用 LoRA。（因为这是定制真正发生的地方）条目内容类型大模型基础模型SD 1.5来源CIVITAI作者文件名称文件大小。
Stable Diffusion: Lora篇
duhaining1976的博客
05-29 1555
AIGC研究及应用系列
什么是LoRA模型，如何使用和训练LoRA模型？你想要的都在这
最新发布
m0_71745258的博客
02-06 3713
LoRA的全称是，可以理解为（SD)模型的一种插件，和，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵。
StableDiffusion中LORA模型的使用
qq_52231465的博客
05-15 1万+
（1）Sampler——采样方式，在Stable Diffusion WebUI中的Sampling method中进行选择（2）Model——作者使用的大模型，在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择（3）CFG scale——提示词相关性，在Stable Diffusion WebUI中的CFG scale进行调整。
Ai绘画工具，Stable Diffusion Lora使用攻略
A2421417624的博客
03-13 3976
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
手把手教你用LoRA训练自己的Stable Diffusion模型
xian0710830114的专栏
05-20 9196
StableDiffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用LoRA训练sd的方法。我们以Chilloutmix为例，Chilloutmix可以生成好看的小姐姐。为了实验LoRA的能力，我们用小哥哥的图片对它进行微调，看效果如何。
11个AI绘画lora模型-stable diffusion模型文件-免去各位不能翻墙朋友的麻烦.zip
04-03
stable diffusion AI绘画的lora模型，免去各位不能翻墙朋友的麻烦 万法之尊-Lora模型 仰拍视角-Lora模型 古风摄影-Lora模型 国风仙丹Chinese mythology-Lora模型 电商美妆类静物摄影-Lora模型 画面细节优化-Lora模型...
stable diffusion webui lora模型
04-07
stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable ...
Stable Diffusion——基础模型、VAE、LORA、Embedding各个模型的介绍与使用方法
知来者逆的博客
02-20 8740
Stable Diffusion（稳定扩散）是一种生成模型，基于扩散过程来生成高质量的图像。它通过一个渐进过程，从一个简单的噪声开始，逐步转变成目标图像，生成高保真度的图像。这个模型的基础版本是基于扩散过程的，但也有一些改进版本，包括基于变分自动编码器（VAE）、局部正则化的自动编码器（LORA）和嵌入式扩散等。
AI绘图StableDiffusion最棒LoRA模型盘点
WANGJUNAIJIAO的博客
05-22 1336
这期来盘点一下我心目中最有意思的LoRA模型。 LoRA模型就属于百花齐放了，因为他精致小巧的特性，有无数的LoRA都能达到不错的效果。其中特定人物的LoRA模型最多。
stable diffusion打造自己专属的LORA模型
热门推荐
王清培的个人博客
04-09 1万+
通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中，同时配上美丽的封面图。
关于AI绘画Stable diffusion的各种模型，看这篇就可以了！
白帽阿叁的博客
05-23 2629
Stable diffusion的模型除了上述的分类之外，从用途上看，还分为官方模型、二次元模型（动漫）、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本，目前在 1.X 中官方发布的有四个版本，分别是v1-1、v1-2、v1-3、v1-4如无法下载，请看文末扫描获取。
【大模型】Lora
Dong_ZH的博客
03-11 2721
Low-Rank Adaptation（低秩适应）是一种针对大型语言模型（如GPT-3等）在下游任务上进行的参数效率优化技术。这种方法的核心思想是，在模型适应下游任务的过程中，不是更新全部的模型参数，而是仅更新一部分参数，以此来减少需要训练的参数量，提高训练效率，并减少内存消耗。具体而言，低秩适应通过矩阵分解的技术，将大型语言模型中的权重矩阵分解为两个更小的矩阵的乘积，这两个小矩阵是可训练的。在训练过程中，只训练这两个小矩阵，而固定住原始预训练模型的权重。
AI绘画-【StableDiffusion】从入门到放弃--Lora模型
Android 开发架构
10-10 1001
如果你是真正有耐心想花功夫学一门技术去改变现状，我可以把这套AI教程无偿分享给你，包含了。
Stable Diffusion 必学技能——从零开始训练专属 Lora 模型！
z19981的博客
08-15 822
接触AI绘画的小伙伴，一定听过Lora。Lora模型全称是：Low-Rank Adaptation of Large Language Models，可以理解为Stable-Diffusion中的一个插件，在生成图片时，Lora模型会与大模型结合使用，从而实现对输出图片结果的调整。我们举个更容易懂的例子：大模型就像素颜的人，Lora模型就如同进行了化妆、整容或cosplay，但内在还在大模型的底子。当然Lora模型不仅仅限制于人物，场景、动漫、风格都有相对应的Lora。
Stable Diffusion——LoRA模型的训练详解（4万字详细解读）
libaiup的博客
12-17 4030
Kohya_ss 是目前比较主流的产生 LoRA 的工具。Kohya_ss GUI 是一个独立于 Stable Diffusion WebUI 的开源的程序。它可以帮助训练 LoRA、Dreambooth 和 Textual inversion 模型。（Github地址：另一个方法是 Dreambooth扩展插件。
AI绘画软件Stable Diffusion的Lora模型详解与使用教程
WANGJUNAIJIAO的博客
07-24 2526
在AI绘画领域，Stable Diffusion作为一种强大的文本到图像的生成模型，已经吸引了众多艺术家和爱好者的关注。而Lora（Low-Rank Adaptation）模型作为Stable Diffusion的一个重要扩展，进一步提升了模型的微调效率和生成质量。本文将详细介绍Lora模型的基本概念、工作原理以及如何在Stable Diffusion中使用Lora模型，为希望提升AI绘画技能的读者提供一份详尽的指南。
Stable Diffusion 中如何使用lora 模型
02-02
### 如何在 Stable Diffusion 中加载和应用 LoRA 模型 #### 加载 LoRA 模型进行推理 为了在 Stable Diffusion 中使用预训练好的 LoRA 模型进行图像生成，通常需要通过特定接口加载这些模型。具体操作如下： 对于基于 Python 的实现方式，在调用 `diffusers` 库中的 `StableDiffusionPipeline` 类创建管道实例时，可以通过传递额外的关键字参数来指定要使用的 LoRA 权重文件路径。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" lora_path = "./path_to_your_lora_weight.safetensors" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda") # Load the LoRA weights into pipeline pipe.unet.load_attn_procs(lora_path) prompt = "A fantasy landscape with a castle on top of a mountain." image = pipe(prompt=prompt).images[0] image.show() ``` 这段代码展示了如何利用 Hugging Face 提供的工具链快速集成并测试自定义 LoRA 模型的效果[^1]。 #### 使用 LoRA 进行微调训练 当希望进一步优化现有的 LoRA 或者针对特定领域定制化开发新的 LoRA 时，则涉及到训练流程。这里介绍一种较为常见的做法——即采用 DreamBooth 方法结合 LoRA 技术来进行高效的小样本学习。 首先准备一组高质量的目标风格样例图集作为正向引导数据；其次设置好负向提示词帮助排除不想要的结果特征。接着按照官方文档指导配置环境变量与超参选项，并启动训练脚本完成整个过程[^2]。 值得注意的是，在选择初始的基础模型（底模）方面建议优先考虑那些广泛认可的经典版本而非经过多次迭代改进后的变体版本，因为后者可能会影响最终产出物的质量泛化能力[^4]。 最后值得一提的是，一旦完成了满意的 LoRA 训练成果之后还可以将其权重无缝融入到原始 SD 架构之中形成一体化的新版扩散网络结构以便于后续维护管理以及实际应用场景下的部署实施工作[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值