ComfyUI完全入门：使用LoRA模型

最新推荐文章于 2024-09-26 10:51:45 发布

网安福宝

最新推荐文章于 2024-09-26 10:51:45 发布

阅读量1k

点赞数 8

分类专栏： SD教程 AI绘画文章标签： stable diffusion 人工智能 AI作画 AI绘画 AIGC ComfyUI

本文链接：https://blog.csdn.net/WANGJUNAIJIAO/article/details/141127796

版权

AI绘画同时被 2 个专栏收录

240 篇文章 7 订阅

订阅专栏

SD教程

219 篇文章 3 订阅

订阅专栏

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。

LoRA模型是一种微调模型，它不能独立生成图片，常常用作大模型的补充，用来生成某种特定主体或者风格的图片，比如插画风格、机械战衣、粘土风格等等。

下面是一张结合LoRA模型的生成图片：

ComfyUI介绍

很多同学对ComfyUI可能还不太了解，我这里做一个简单的介绍。

在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。

目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。

Stable Diffusion WebUI 开箱即用，各项功能齐全，社区也有很多的插件支持，入门比较简单，适合新手，但是可定制性稍微差点，很多作品不容易传播复现，使用API进行操作也有一定的难度。

ComfyUI 出来的晚一点，但是它的可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。但是 ComyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。

为了方便大家尽快上手ComfyUI，本系列文章将会介绍一些 ComfyUI 的概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

ComfyUI 安装部署

本地安装部署

本地部署需要特殊网络设置、8G显存以上的Nvidia显卡、一定的电脑动手能力，如果你满足这三个条件，请看我这篇文章：ComfyUI 完全入门：安装部署

使用云端服务器

这里给大家推荐两个我经常使用的：

京东云：最近京东大举进入AIGC领域，不仅价格低到每小时1毛8，更有免费代金券可以领取，机不可失。领取代金券，请发消息 “京东云” 到公众号 “萤火遛AI”。
AutoDL：AutoDL出来的比较早，价格也很公道，相比阿里云、腾讯云，简直实惠的不得了，而且AutoDL有多种显卡型号可供选择。

我在这两个云平台都发布了ComfyUI的镜像，内置了常用的工作流，大家可以一键启动，直接使用，不用费劲吧啦的各种安装调测。

如有问题，欢迎留言交流。

使用LoRA模型

下载LoRA模型

在模型下载网站，如果模型是LoRA模型，网站会特别标识出来。以 liblib.art 为例：

模型左上角会有一个模型类型的标记，CHECKPOINT 代表大模型，LORA 代表这是一个LoRA模型。

另外LoRA模型也区分SD1.5和SDXL，不能混用，这个信息可以在模型的详细页面看到：

在这里插入图片描述

另外我们还可以在页面上看到两个关键的信息：

下载：点击下载到本地。LoRA模型文件一般比基础模型要小很多，只有几十、几百兆。
触发词：有些模型需要在提示词中包含这些词语，才会生成对应风格的图片，记得复制粘贴到你的提示词中就行了。

在ComfyUI中使用LoRA模型

加载LoRA模型

我们先来看下如何加载LoRA模型，请看下图：

1、首先我们需要加载一个SD基础模型，通过“Checkpoint加载器”，这块之前介绍过了，就不多说了。

2、然后我们需要添加一个“LoRA加载器”的节点：

点击其中的“LoRA名称”可以选择一个“LoRA模型”。模型的位置默认是 ComfyUI/models/loras。如果你在 extra_model_paths.yaml 中更改了这个位置，请把模型放到更改后的目录中。

模型强度和CLIP强度都是用来控制LoRA模型对图片风格的影响力的，值越大生成的图片越贴近LoRA风格，但也有过拟合的风险，也就是生成出来的都是一个样子，缺少变化，或者不遵守提示词的描述。

但是也要注意到它们影响的方面不同，clip强度影响的是模型对提示词的理解，较高的clip会让生成结果更准确；模型强度则直接影响LoRA风格能否被应用到生成图像中。

使用不同的LoRA模型时，它们的推荐值也是不同的，一般可以在LoRA模型的下载页面上获取到作者的建议值，比如下图中的这个LoRA说明：

注意在 Stable Diffusion WebUI中，这两个参数是合并到一起的，所以很多模型作者都会只给出一个值。大家可以使用这个值作为起始值，然后根据生成效果进行调整。

还要注意，LoRA模型的算法版本要和SD基础模型匹配，要么都是SD1.5，要么都是SDXL，不能混用。

3、最后我们需要把LoRA模型连接到SD基础模型上，这里有两条连接线：

连接线1：将模型连接到模型。LoRA模型是在SD基础模型上训练出来的，它会更改SD基础模型中的部分参数，所以我们需要把它连接到SD基础模型。
连接线2：将CLIP连接到CLIP。CLIP是模型中的文本编码器，我们知道SD生成图片时需要提示词，但是模型并不能直接理解文本字符，模型是通过大量的向量计算（向量就是有方向的数字，比如加速度这种）得出的结果，所以生成图片前，需要先把提示词转换成向量，CLIP就是干这件事的。LoRA模型同样会更改SD基础模型中的CLIP，所以我们要做这个连接。