【AIGC】ComfyUI 入门教程:图生图工作流|AI 生成图片

ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点连接在一起,你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样:

imgComfyUI 工作流的样子

我们的 ComfyUI 入门系列教程已经发了 2 篇:

这篇教程我们来继续介绍使用 ComfyUI 来进行图生图。

1、使用 ComfyUI 进行图生图

1.1、下载并加载图生图工作流

要进行图生图,你可以直接下载官方提供的 img2img 工作流来使用:https://comfyanonymous.github.io/ComfyUI_examples/img2img/img2img_workflow.png

下载完成后,将此工作流图像拖放到 ComfyUI 中加载。它长这样:

imgimg2img workflow

1.2、操作使用图生图工作流

图生图工作流与文生图工作流的比较类似,差别就是就是增加了图片作为输入之一,同提示词一起来指引主模型生成新的图像。所以我们这里就不详细介绍与文生图中同样的步骤了。

要使用此 img2img 工作流生成图像,你可以进行如下最简操作:

  • 1、在 Load Checkpoint 节点选择 Checkpoint 主模型。
  • 2、在两个 CLIP Text Encode 节点分别修改正向提示词和负向提示词。
  • 3、调整 KSampler 节点中的 denoise 字段的数值来调整降噪强度。这一步是可选,你也可以不调整,使用默认值。
  • 4、点击 Queue Prompt 启动生成。

2、图生图工作流的差异部分

图像生成图像(img2img)的工作流是 Stable Diffusion 中的另一个主要工作流,它根据输入的提示词图像两个主要要素来生成图像。在这两个主要要素中,你可以调整降噪(denoise)参数的数值来控制 Stable Diffusion 应该在多大程度上遵循输入图像的指引。

与上一篇介绍的文生图工作流对照来看,图生图工作流中增加了一个 Load Image 节点和一个 VAE Encode 节点,替换掉了文生图工作流中的 Empty Latent Image 节点。

2.1、Load Image 节点

imgLoad Image 节点

Load Image 节点的功能很简单,就是让你来选择一张图片来作为图像生成流程的输入。

你可能注意到这个节点的输出点有两个模式:IMAGEMASK,它们的区别如下:

  • IMAGE:输出图像作为图像使用。
  • MASK:输出图像作为蒙版使用。在后面的一些工作流中,我们会用到这种模式,这里就先不介绍了。

2.2、VAE Encode 节点

imgVAE Encode 节点

我们在上一篇教程中介绍过 VAE(Variational Auto Encoder),它用于在像素和潜在空间之间进行图像转换。

我们这里用到的是 VAE 的编码器,VAE Encode 节点的作用就是将图像从像素(pixels)转换到潜在空间(LATENT)以在后面的生成流程中使用。

到这里,我们就介绍完了使用 ComfyUI 的图生图工作流来生成一幅图像的流程,以及其中涉及到的理论知识。

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img
在这里插入图片描述

### 如何搭建ComfyUI生成像的工作流 #### 工作流概述 在 ComfyUI 中,创建一个用于像到像转换(即)的工作流涉及多个特定节点的选择和配置。这些节点共同作用来处理输入像并应用指定的参数以生成新的像[^1]。 #### 准备环境 确保已经按照官方指南完成了 ComfyUI 的下载与安装过程,并确认可以正常启动应用程序。此外,还需准备好想要作为基础进行变换的目标图片文件[^2]。 #### 构建基本工作流 1. **加载初始像** 使用 `Load Image` 节点导入要编辑或转化的基础像。此操作允许用户选择本地存储中的具体文件路径。 2. **设置模型参数** 添加 `Checkpoint Loader Simple` 或其他适用版本控制点加载器节点,以便引入预训练好的Stable Diffusion权重数据集。这一步骤对于定义后续生成过程中所遵循的艺术风格至关重要。 3. **调整超参设定** 插入 `CLIPTextEncode`, `EmptyLatentImage` 和 `KSampler (Efficient)` 等组件,用来微调提示词编码方式、潜在空间初始化模式以及采样策略等方面的内容。特别是当涉及到条件引导时,合理调节正负向指导强度能够显著影响最终效果的质量。 4. **执行推理计算** 连接上述各部分至 `VAEDecode` 结构之前先经过一次完整的前馈传播周期——由 `ControlNet Apply Advanced` 所驱动;随后再经解码环节还原成直观可视化的成果展示形式。 5. **保存输出结果** 经过一系列运算之后得到的新版画作可通过 `SaveImage` 功能永久记录下来供日后查看分享之用。 ```python # Python伪代码表示简化后的流程实现思路 image_loader = LoadImage(image_path="path/to/input_image.png") # 加载原始像 checkpoint_loader = CheckpointLoaderSimple(model_name="selected_model") # 设置使用的模型名称 text_encoder = CLIPTextEncode(prompt="a beautiful landscape painting style") # 编码文本描述 latent_initializer = EmptyLatentImage(width=768, height=768) # 初始化空白潜变量映射表单 sampler = KSampler() # 定义抽样式方法实例对象 control_net_applyer = ControlNetApplyAdvanced(controlnet_args={}) # 应用高级控件网络层 decoder = VAEDecoder(latents=image_loader.output()) # 解码获得目标像张量表达式 save_output = SaveImage(images=[decoder], output_dir="./outputs/") # 存储生成的作品副本 ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值