AI绘画：利用ComfyUI串联Refiner模型进行文生图细化提升绘图质量

已于 2024-12-29 18:37:31 修改
阅读量1.3k 收藏 42
点赞数 35
分类专栏： AI绘画 SD应用教程 文章标签： AI作画 stable diffusion 人工智能 AI绘画 AIGC
于 2024-11-04 15:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/143478661
版权

本文将带你进一步探索如何将Refiner模型整合到你的工作流中，以实现更精细的图像细化。通过本教程，你将能够掌握如何使用Refiner模型来提升你的AI绘画作品的细节和质量。

简化教程：

首先，我们需要在流程中添加Refiner模型。

  1. 打开之前的文生图流程。
  2. 在流程的适当位置（例如文生图下方），添加一个新的Checkpoint加载器节点。
  3. 将该加载器的模型更改为Refiner模型。
关键词输入

为了使Refiner模型能够使用相同的关键词，我们需要进行一些调整。

  1. 在原有的CLIP文本编码器节点上，右键点击并选择“转换文本为输入”。
  2. 新建一个Primitive元节点作为输入关键词的节点。
  3. 将CLIP文本编码器的输出连接到Primitive元节点的输入。
  4. 复制一组CLIP文本编码器节点，用于连接Refiner模型。
使用K采样器（高级）

在细化流程中，我们需要使用高级采样器来控制生成过程。

  1. 选择K采样器（高级）而不是普通的K采样器。
  2. 在高级采样器中，设置添加噪波、开始降噪步数、结束降噪步数和返回噪波选项。
    • 对于基础模型的采样器，启用添加噪波，从第0步开始降噪。
    • 对于Refiner模型的采样器，禁用添加噪波，开始降噪步数与基础模型的结束步数相对应，结束步数默认即可。
    • 启用基础模型采样器的返回噪波，禁用Refiner模型采样器的返回噪波。
  3. 连接基础模型和Refiner模型的采样器。
VAE解码及保存图像

接下来，我们需要连接VAE解码和保存图像的节点。

  1. 将Refiner模型的采样器连接到VAE解码节点。
  2. 可以选择任何一个大模型的VAE进行连接，或者通过VAE加载器加载一个VAE模型。
  3. 运行流程并检查是否有错误。

详细操作和截图：

打开流程

加载Refiner模型

首先，我们需要在流程中添加Refiner模型。如果你已经有一个正在运行的基础文生图流程，可以直接在其下方添加新的节点。

  • 在ComfyUI界面中找到空白区域，右键点击选择“新建节点” -> “加载器” -> “Checkpoint加载器”。
  • 将新添加的Checkpoint加载器的模型更改为Refiner模型。
关键词输入

为了简化操作，我们可以将已有的关键词输入复用到Refiner模型中。

  • 在原有的“CLIP文本编码器”节点上右键点击，选择“转换文本为输入”。
  • 新建一个“实用工具” -> “Primitive元节点”作为输入关键词的节点。
  • 将“CLIP文本编码器”的输出连接到“Primitive元节点”的输入，这样关键词就会显示在新的节点上，并且可以进行修改。
  • 复制一组“CLIP文本编码器”节点，并将它们连接到Refiner模型。

使用K采样器（高级）

为了适应Refiner模型的工作方式，我们需要使用“K采样器（高级）”。

  • 在Refiner模型中选择“K采样器（高级）”。
  • 在采样器设置中，调整“添加噪波”、“开始降噪步数”、“结束降噪步数”和“返回噪波”选项以匹配Refiner模型的需求。
  • 连接Refiner采样器的“Latent”输出到Base采样器的相应输入。

VAE解码及保存图像

连接VAE解码和保存图像节点，以便在细化过程中生成和保存图像。

  • 将Refiner采样器的输出连接到VAE解码节点。
  • 根据需要，可以选择连接到任何一个大模型的VAE，或者通过“VAE加载器”加载一个单独的VAE模型。

知识点扩展

为了简化操作和流程管理，我们可以将一些常用的参数提取出来，使用“Primitive元节点”进行统一管理。

  • 在Base采样器上右键点击，选择“转换步数为输入”和“转换结束降噪步数为输入”。
  • 在Refiner采样器上右键点击，选择“转换步数为输入”和“转换开始降噪步数为输入”。
  • 新建“Primitive元节点”作为输入节点，用于统一设置步数和结束/开始降噪步数。

最终效果：

结语

通过本教程，你现在应该能够熟练地在ComfyUI中串联Refiner模型进行文生图细化操作。这将极大地提升你的创作效率和作品质量。记得在完成流程后保存你的工作，以便将来可以重复使用或进行进一步的优化。不断实践和探索，你将能够充分利用ComfyUI和Refiner模型的强大功能，创作出更加精彩的AI艺术作品。

最后的最后，如果你足够懒，学习了上述内容后，直接下载已经做好的流程图吧。附上这两张的附件（含完整流程图json）：

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

comfyUI官方笔记整理
best_scenery的博客
11-08 1194
comfyUI官方教程笔记
ComfyUI 完全入门：Refiner精炼器
2401_84494441的博客
06-13 1924
在 SDXL基础模型1.0版本发布时，Stability AI 公司同时发布了一个名为SDXL Refiner的模型。这个Refiner模型是专门设计用来对基础模型生成的图像进行进一步优化和细化的，所以大家也经常称之为精炼器或者精修器。Refiner模型的主要目的是提升图像的质量，使其在细节和整体视觉效果上更加出色。它可以对生成的图像进行额外的处理，修正一些可能存在的瑕疵，增强图像的锐度和清晰度，以及改进颜色和纹理的表现。
一分钟教会你！ComfyUI高清分辨率可控图像增强模型！
小王的储物间
07-01 2898
大家好我是小王！！！近日模型更新到 V2 版本了，这是一款现实逼真绘图 Controlnet 插件模型，适用于熟知的 SD-WebUI 扩展和 ComfyUI 工作流。本次 V2 版本的更新，在模型的稳定性和控制力得到了显著的提升，同时能够在高清分辨率时更多的精细的图像细节增强。•：通过大幅改进的训练数据集和更广泛的训练步骤，Tile V2 得到了显著的增强。•：Tile V2 现在无需明确的提示，也能够自动识别的更广泛的对象。•。
Stable Diffusion ComfyUI 基础教程（三）文生图- refiner细化流程
libaiup的博客
07-13 1430
上节课我们学习了文生图的基础流程，接下来我们玩个复杂的，把 refiner 模型串联进去。 那我们想一下， refiner 模型的工作流程是什么样的呢，使用 refiner 模型的时候我们比基础流程多了哪些操作呢？ 是通过 base 模型绘制一部分后，然后使用 refiner 模型进行绘制。多了 refiner 模型加载器，多了 refiner 模型切换时机。
(9.1更新弃用)AI绘画stable diffusion SDXL 1.0 refiner 插件
German2000的博客
08-24 2243
介绍了最新SDXL 1.0模型的reinfer插件的使用方法
ComFyui工作流教程 最基础的AI视频
技术宅男改变世界
11-26 1337
ComfyUI就像拥有一支神奇魔杖，可以轻松创造出令人惊叹的AI生成艺术。从本质上讲，ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI)，而Stable Diffusion是一种最先进的深度学习模型，可以根据文本描述生成图像。但ComfyUI真正特别之处在于，它如何让像你这样的艺术家释放创造力，将你最疯狂的想法变为现实。想象一下有一块数字画布，你可以通过连接不同的节点来构建自己独特的图像生成工作流，每个节点代表一个特定的功能或操作。
SDXL 模型之 base、refiner 和 VAE
热门推荐
云水木石
08-04 2万+
在上一篇文章《Stable Diffusion 开源模型 SDXL 1.0 发布》中介绍了 Stable Diffusion 最新模型 SDXL。然而在下载模型时发现，模型有两个，分别是 stable-diffusion-xl-base-1.0、stable-diffusion-xl-refiner-1.0。开始也没有仔细看介绍，想当然的认为 refiner 模型肯定比 base 模型好。于是就下...
AI绘画的救星！手把手教你在ComfyUI玩转局部重绘！
2401_85725028的博客
06-25 2932
在使用AI绘画时，尽管可以通过调整模型和参数来获得好的作品，但准确性问题仍然存在。AI的扩散算法虽然带来了无限可能，但也可能导致一些意料之外的结果，如不自然的四肢或元素的错误放置。幸运的是，Stable Diffusion的局部重绘功能可以解决这些问题。为了方便演示，我们用以下参数先批量生产一堆美女1. CheckPoint模型：XXMix_9realisticSDXL2. Lora模型：无3. 采样器：dpmpp 2m sde karras4. 采样步数：30。
如何利用Midjourney赚钱？这3种方法你一定要知道！让你轻松月入过万！
2401_84760719的博客
06-20 2128
经常关注的同学，可能都看到了这样一篇新闻，那就是来自美国的采用人工智能工具 make journey 生成的画作，在特罗拉多博览会的美术比赛中获奖。此举引发了激烈的互联网讨论，也让更多的人了解并开始使用这个神奇的人工智能制图软件。是一款搭载在上的 AI 绘画机器人，目前仍处于内部测试阶段，即使你没有任何绘图经验，也能制作出大师级的绘画作品。midjourney的使用方法非常简单，你只需输入一段描述文字，系统就会在1分钟内为你生成一组和描述高度相关的图像。
AI驱动的前端UI组件生成器（Next.js，GPT4，Langchain和CopilotKit）
奇舞周刊
05-20 697
AI驱动的前端UI组件生成器（Next.js，GPT4，Langchain和CopilotKit）本文译者为 360 奇舞团前端开发工程师原文标题：AI-Powered Frontend UI Components Generator (Next.js, GPT4, Langchain, & CopilotKit)原文作者：Bonnie原文地址：https://dev.to/tcms/ai...
ComfyUI工作流分享——在FLUX中如何选择自己适用的采样器与调度器
m0_59162248的博客
01-04 4822
【采样器和调度器现状】随着StableDiffusion的不断更新，不仅新的模型生态得到了不断的发展、迭代，SD的采样器和调度器也出了不少新的可选项供我们使用。在众多的采样器和调度器中，我们如何选择合适的组合来出图。我们一般会希望能找出一个适用于大部分场景绘画的组合来日常使用，但不限于单一组合。刚好就看到了欧阳老师新更新的这条内容，现学现卖，跟大家分享下，顺便将工作流分享给大家调试属于自己满意的采样器和调度器的组合。
ComfyUI中的“K采样器”如何使用（保姆级讲解）
2301_80471322的博客
02-17 4083
技术定义 K采样器（K Sampler）是ComfyUI中负责执行扩散模型逆向降噪过程的核心节点，通过从Stable Diffusion模型中提取噪声规律，将随机潜空间噪声逐步转换为可识别的图像。它是工作流中连接提示词、模型和潜空间的关键模块35。核心功能步骤1：加载K采样器节点 右键点击画布空白处 → 搜索并添加节点。步骤2：连接潜空间步骤3：加载模型与提示词步骤4：解码与输出 添加节点 → 将K采样器的输出连接至此节点 → 最终输出图像。
DPOD：6D Pose Object Detector and Refiner——自我总结
Marilynviolet的博客
09-23 2816
论文概观： 目标：3D对象的检测以及从RGB图像中恢复6D位姿 方法：DPOD（dense pose object detector）密集对象位姿检测器，在输入图片和已知3D模型中去估计密集的多类2D-3D对应图，基于对应图，利用PnP和RANSAC计算6D位姿 优势：可以同时基于合成数据和真实数据 介绍（说明）： 最近估计位姿的一些手段： 名称 简介 SSD6D 合成数据+Man...
今年最火的comfy UI 插件节点超详细安装使用教程-有手就行的保姆级教程-网盘分享
php源码
08-15 8501
探索ComfyUI中不可或缺的IPAdapter插件，本指南将引导您从基础使用到高级技巧，使您能够充分利用这一强大工具，提升开发效率和应用性能。IPAdapter是一个轻量级的适配器，其功能是实现图像风格迁移，即将一张或多张图像的风格转移到另一张图像上。简而言之，它的作用类似于单图像的lora技术。IPAdapter通过接受一张图像输入，将其编码为Token，并与标准提示词混合，共同作用于图像生成过程。
ComfyUI 高级实战：极速稳定视频风格转绘
程序员，AI探索者
05-27 6119
有的同学可能还不知道 ComfyUI 是什么，我这里做一个简单的介绍。ComfyUI 是一个基于扩散模型的AI绘画创作工具，扩散模型就是大家常说的 Stable Diffusioin，简称SD。使用SD进行AI绘画的常用工具还有 Stable Diffusion WebUI，有时也简称 SD WebUI，SD WebUI入门比较简单，适合新手，但是可定制性稍微差点，使用API进行操作也有一定的难度。
ComfyUI手部修复讲解
Bu2n的博客
09-27 3180
ComfyUI的ControlNet辅助预处理器里面有一个节点叫，用于检测手部。
SDXL性能再测试，ComfyUI或refiner插件是XL的好帮手
WANGJUNAIJIAO的博客
12-06 1078
SD1.5版本，用过的都知道要加入大量提示词控制质量，正面负面加一大堆，每次生图都得先导入那些词，没准哪个词会影响效果，我看还有人专门做了大量的XYZ实验去总结各种词对画面的影响。 而SDXL不太要求繁多的咒语，提示词形式也更加包容，输入一个句子和拆分成单词，没有太大差别。 而旧版本只有讲概念词条化，并且要将想要突出的重点加权重，才能够得到想要的效果。
深入解析SD-XL 1.0-refiner模型的参数设置
gitblog_02849的博客
12-31 1091
深入解析SD-XL 1.0-refiner模型的参数设置 stable-diffusion-xl-refiner-1.0 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/stabl...
comfyui Refiner模型
最新发布
03-08
### ComfyUI Refiner模型使用说明 在ComfyUI中，Refiner模型用于改进由基础模型生成的结果。通过引入Refiner模型，可以显著提升图像的质量和细节层次。为了更好地理解和应用这些模型，在安装并配置好ComfyUI环境之后，需遵循特定的工作流程。 #### 安装Refiner模型 首先访问官方GitHub仓库[^1]获取最新的支持列表和支持文件。对于大多数情况下推荐使用的Refiner模型之一是`sd_xl_refiner_0.9.safetensors`版本。下载完成后将其放置于指定目录下（通常是`models\refiner`），以便软件能够识别加载该模型。 #### 配置与调用Refiner模型 当准备就绪后，在ComfyUI界面上创建新的工作流时，可以从左侧工具栏找到名为“Load Checkpoint”的节点来加载已有的Base Model以及对应的VAE组件。接着添加另一个相同类型的节点专门用来读取刚才提到过的Refiner checkpoint文件。这两个节点之间应该建立连接以指示数据流动方向。 ```mermaid graph LR; A[Load Base Model] --> B[Connect with VAE]; C[Load Refiner Model] -.->|Optional, connect only when refining|B; ``` 完成上述设置以后，用户可以在执行推理过程中选择是否启用此增强特性，并调整相关参数如权重比例等影响最终输出效果的因素[^2]。 #### 实际案例展示 考虑到实际应用场景中的需求差异较大，这里提供了一个简单的例子作为参考： 假设现在有一张低分辨率的人像照片希望通过ComfyUI进行超分处理得到更精细的画面表现形式。此时除了正常输入原始素材外还需要额外接入一个经过预训练的Refiner模块负责捕捉更多面部特征从而达到理想状态下的视觉呈现目的[^3]。 ```python from comfyui import load_model, process_image_with_refinement base_checkpoint_path = "./models/base/sd-v1-5-inpainting.ckpt" vae_path = "./models/vae/model.vae.pt" refiner_checkpoint_path = "./models/refiner/sd_xl_refiner_0.9.safetensors" image_output = process_image_with_refinement( base_checkpoint=load_model(base_checkpoint_path), vae=load_model(vae_path), refiner_checkpoint=load_model(refiner_checkpoint_path), input_image="path/to/input/image.png", refinement_strength=0.8 # 可调节强度值 ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值