ComfyUI 使用 LoRA 极简工作流

ComfyUI的LoRA工作流相信大家都不陌生。开发者提供了大量基于默认节点功能搭建的工作流,其中就包括了如何使用LoRA。

仅仅使用一个LoRA也许还比较简单。只需要在基本工作流的基础上,再添加一个LoRA加载器的节点即可。如果要添加多个LoRA,就需要往里面继续加入LoRA加载器。这使得工作流变得很长,丧失了优雅和高效。

今天,我来介绍在ComfyUI中使用LoRA的极简工作流。如果只使用一个LoRA的话,只需要两个节点。

如果你需要再添加多个LoRA的话,只需要再添加一个LoRA节点。是不是非常简单呢?

安装必要的工具

首先,我们需要安装称为“Efficiency Nodes”的一系列自定义节点。这需要你已经安装了 ComfyUI Manager。以下是安装自定义节点的步骤:

1️⃣ 打开 ComfyUI Manager 界面。

2️⃣ 点击安装自定义节点的按钮,

3️⃣在对话框中输入“efficiency”,并点击搜索。

4️⃣选择出现的第一个“效率节点”并安装。安装完成后点击重启按钮。

构建基础 LoRA 工作流

安装完效率节点后,就可以开始构建 LoRA 工作流了:

1️⃣ 双击空白处打开搜索节点的工具栏,输入“eff”,找到“Efficient Loader”节点。

2️⃣ 添加“Efficient Loader”节点,这个节点支持SD1.5,整合了多个功能如Checkpoint、VAE、Clip Skip 跳过层、LoRA、提示词、Latent宽高和批次数量。

3️⃣ 接下来,需要搭配一个采样器来生成图片。再次双击空白处,在搜索框输入“efficient”并选择一个基础版采样器。

4️⃣ 连接这两个节点。简单地用五条直线连接即可。

5️⃣设置模型和 LoRA 参数,写入提示词,然后生成图片。

如何同时使用多个 LoRA

如果需要同时调用多个 LoRA,操作如下:

1️⃣ 在“Efficient Loader”上找到“lora_stack”的输入端。

2️⃣ 拖拽并选择“LoRA Stacker”,以叠加多个 LoRA。

3️⃣ 设置要叠加的 LoRA 数量,例如选择两个:一个调节笑容的 LoRA 和一个调节脸型大小的 LoRA。

4️⃣ 设置各自的权重,然后生成图片,观察 LoRA 的效果。从笑容和脸型上,我们可以看出,这两个LoRA都生效了。

5️⃣如果需要在生成过程中保存图片,可以简单地从相应节点拖出一个保存图片的节点,实现保存功能。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版添加下方免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img
由于篇幅原因,详细版添加下方免费领取!!!

### 如何在ComfyUI使用LoRa模块进行开发 #### LoRa模块LoRa是一种低功耗广域网通信技术,适用于远距离无线数据传输。然而,在机器学习领域,“LoRa”通常指的是Low-Rank Adaptation (LoRA),这是一种用于微调大型预训练模型的技术[^1]。 #### 集成LoRaComfyUI工作流程概述 对于希望利用LoRa功能扩展ComfyUI能力的开发者而言,主要关注的是如何将LoRa作为插件或附加组件引入到现有的工作环境中。具体来说: - **准备阶段**:确保已按照官方指南完成ComfyUI的基本安装与配置[^2]。 - **获取LoRa资源**:访问可靠的源码仓库或其他渠道下载适合版本的LoRa库及其依赖项;注意确认这些资源兼容当前使用的Python解释器及框架版本。 - **环境适配**:根据所选LoRa实现的要求调整虚拟环境中的软件栈,可能涉及更新pip、conda等包管理工具内的特定包列表。 - **代码集成** 对于具体的编程接口对接部分,假设采用PyTorch为基础构建,则可以参考如下化版伪代码来展示基本思路: ```python from comfyui import ModelLoader, WorkflowExecutor import lora_module # 假设这是导入外部提供的LoRa支持库 def integrate_lora_into_comfyui(model_path: str, workflow_config: dict): """ 将LoRa融入ComfyUI实例的方法 参数: model_path (str): 已经训练好的基础模型存储位置. workflow_config (dict): 描述整个处理链条设定的信息字典. 返回值: NoneType | Exception: 成功则返回None; 失败抛出异常对象. """ try: base_model = ModelLoader.load_from_disk(model_path) adapter = lora_module.LoRAModelAdapter(base_model=base_model) executor = WorkflowExecutor(workflow_definition=workflow_config) enhanced_output = executor.run_with_adapter(adapter_instance=adapter) return None except ImportError as ie: raise ModuleNotFoundError(f"未能成功加载所需模块:{ie}") ``` 此段脚本展示了怎样创建一个函数`integrate_lora_into_comfyui()`,它接收两个参数——一个是预先存在的模型路径字符串,另一个是用来指导执行过程的数据结构体(通常是JSON格式)。内部逻辑首先是尝试加载目标神经网络架构,接着初始化LoRa适配层并与之绑定,最后借助增强型流水线控制器驱动整个计算任务直至结束。 请注意上述示例仅为示意性质,并未覆盖所有细节,实际操作时需依据具体情况作出适当修改和完善。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值