【comfyui教程】ComfyUI 一键生成你家宠物的专属速写画像学会图片风格迁移

最新推荐文章于 2024-12-29 10:04:03 发布

AI绘画月月

最新推荐文章于 2024-12-29 10:04:03 发布

阅读量1.2k

点赞数 20

文章标签： stable diffusion ai绘画人工智能 AI作画 comfyui教程 comfyui

本文链接：https://blog.csdn.net/2401_84760719/article/details/144689049

版权

前言

图片变为素描风格,
实际上任何的风格迁移, 都是类似的工作流.

左边是原图
右边是素描图

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

我也要做素描图

上网站直接运行ComfyUI素描工作流, 就可以得到类似的效果, 搜所萌宠速写
https://www.runninghub.cn/?utm_source=kol01-RH035

这个网站提供的工作流, 没有添加深度图, 我自己加上去了,
深度图的作用, 是保证画面的构图与原图一致,
反推图片的提示词也加上去了,.这样就不用自己写提示词了.
有需要的可以在底部下载我修改的工作流.

工作流讲解

一、流程概览及重点难点

这个工作流的主要功能, 就是上传一张你家宠物的照片，然后 ComfyUI 就会“唰唰唰”几下，变出一张艺术感满满的速写风格画像。

乍一看，工作流挺复杂的, 节点也很多，但核心其实就几个步骤：

加载图片和相关模型

：这是基础，把素材准备好。
图片预处理

：这一步很关键，主要是利用 CLIPVisionLoader 和 StyleModelLoader 对图片进行分析和风格迁移。
通过lora微调模型
通过加载作者提供的LoRA文件, 对模型进行微调, 使得模型可以生成指定风格的图片.
生成和优化图片

：利用 KSampler 系列节点进行采样，生成最终的速写画像。

在这个流程中，重点和难点主要集中在以下几个方面：

CLIP 模型和 Style Model 的应用

：这是实现风格迁移的关键，也是 ComfyUI 新手比较难理解的地方。
Flux 模型采样器

：工作流中使用了 flux 作为采样模型, 这也是新手不容易理解的地方.
KSampler 系列节点的使用

：KSampler，KSampler (Efficient)，KSamplerSelect，SamplerCustomAdvanced，这些节点看起来就让人头大，但它们却是控制采样过程的核心。

接下来，我们就来重点攻克这几个难点！

二、重点难点解析

1. CLIP 模型和 Style Model：让机器“看懂”图片

首先我们来理解一下 CLIP 模型和 Style Model 在这个工作流中扮演的角色。

CLIPVisionLoader

这个节点加载的是 CLIP Vision 模型。CLIP 是啥？简单来说，它是一个由 OpenAI 开发的，能够“看懂”图片内容的模型。你可以把它想象成一个很有艺术鉴赏力的机器人，它能分析出图片里的主要物体、风格等等信息。

在这个工作流里，CLIPVisionLoader 节点负责加载这样一个“鉴赏家”模型，为后续的风格迁移做准备。

StyleModelLoader

这个节点加载的是一个风格模型。你可以把它理解成一个“风格滤镜”，它记录了某种特定风格的特征。将风格模型和上面的 CLIP Vision 模型结合起来，就能实现将指定风格应用到图片上的效果。

Style Model 的工作原理，简单来说就是，它会学习大量具有某种风格的图片，然后提取出这种风格的“精髓”，形成一个风格模型。当一张新的图片输入时，这个风格模型就会对图片进行调整，让它具有类似的风格。

理论知识补充：

CLIP 模型是一种基于对比学习的预训练模型。它通过在大规模的图像-文本对数据集上进行训练，学会了将图像和文本映射到同一个向量空间中。在这个向量空间中，相似的图像和文本会被映射到相近的位置。

风格迁移是一种将一张图片的风格应用到另一张图片上的技术。传统的风格迁移方法通常需要对每一种风格进行单独的模型训练。而基于 CLIP 的风格迁移方法则可以利用 CLIP 模型的强大表征能力，实现更加通用和灵活的风格迁移。

在这个工作流中，上传的宠物图片首先会经过 CLIPVisionLoader 节点，由 CLIP Vision 模型提取出图像特征。然后，StyleModelLoader 节点加载的风格模型会对这些特征进行调整，将速写风格的特征“注入”到图像特征中。

2. Flux 模型采样器

工作流中使用了 ModelSamplingFlux 节点来加载 Flux 模型. 传统的 KSampler 采样器基于扩散模型, 而 ModelSamplingFlux 使用的是 Flux 模型. ModelSamplingFlux 节点会将 Flux 模型和传统的扩散模型结合起来使用.

flux 采样的原理是:

通过 ModelSamplingFlux 节点加载指定的 flux 模型。
ModelSamplingFlux

将 flux 模型与传统的扩散模型组合起来。
KSampler 节点可以使用 ModelSamplingFlux 节点输出的带有 flux 信息的模型进行采样。

通过这种方式, 就可以在 ComfyUI 中使用 flux 模型进行采样生成图像。flux 采样可以带来不同的生成效果, 丰富图像的多样性。对于 ComfyUI 新手来说, 理解 flux 采样器是一个难点。但只要明白它是通过 ModelSamplingFlux 节点将 flux 模型与扩散模型结合, 然后供 KSampler 节点使用即可。

它的参数max_shift可以取不同的值, 我的值是5

实际测试中, 如果max_shift, 超过5, 图片就会变得模糊,

如果max_shift 小于1 , 那么图片的艺术性就比较低.

3. KSampler 系列节点：精细控制采样过程

接下来，我们来看看 ComfyUI 中最常用的采样节点——KSampler。在这个工作流中，出现了好几个 KSampler 相关的节点，它们各自承担了不同的职责。

KSamplerSelect 节点的作用是在不同的 KSampler 节点之间进行选择。你可以把它想象成一个“调度员”，根据你的设置，选择合适的 KSampler 节点来执行采样任务。

KSampler (Efficient) 节点是一种高效的 KSampler 实现。它在保持采样质量的同时，提高了采样速度。你可以把它想象成一个“加速版”的 KSampler。

KSampler 是最基础的 KSampler 节点。它负责执行具体的采样过程，根据输入的噪声、模型、正向和反向提示词等信息，逐步生成图像。你可以把它想象成一个“画家”，根据你的“指令”一步步画出图像。

SamplerCustomAdvanced节点是一个“高级定制版”的采样器。

在这个工作流中，这几个 KSampler 节点协同工作，实现了从噪声到图像的生成过程。其中，KSamplerSelect 节点负责选择合适的 KSampler 实现，KSampler (Efficient) 节点负责快速生成低分辨率的图像，KSampler 节点负责生成最终的高分辨率图像。

理论知识补充：

KSampler 节点实现的是一种基于随机数的采样算法。它从一个随机噪声开始，逐步去除噪声，最终生成一张清晰的图像。这个过程可以看作是一个“逆向”的扩散过程。

在每一步采样过程中，KSampler 节点都会根据当前图像的噪声水平、模型预测的结果以及正向和反向提示词的信息，计算出一个“去噪”的方向。然后，它会沿着这个方向稍微“走”一小步，得到一个新的、噪声更少的图像。

这个“走”的步长是由 scheduler 和 sampler 两个参数控制的。scheduler 决定了每一步的步长大小，而 sampler 决定了具体的“走”的方式。

4. 节点顺序和相互作用

理解了每个节点的功能之后，我们再来看看这些节点是如何串联起来，共同完成图像生成任务的。

首先，LoadImage 节点加载用户上传的宠物图片。这张图片是整个工作流的起点。

然后，CLIPVisionLoader 和 StyleModelLoader 节点对图片进行预处理，提取图像特征并融入速写风格的特征。

接着，CLIPTextEncode节点加载大模型的CLIP模型, LoraLoaderModelOnly 节点加载lora模型, 对大模型进行微调.

然后，EmptySD3LatentImage 节点创建了一个空的隐空间图像，作为 KSampler 节点采样的起点。

接下来，BasicScheduler 节点为采样过程提供调度策略, BasicGuider 节点为采样过程提供引导. ReduxAdvanced 节点可以对图片进行质量调整.

然后，KSamplerSelect 节点选择了合适的 KSampler 实现, ModelSamplingFlux 加载 Flux 模型，供 KSampler 节点调用. KSampler (Efficient) 和 KSampler 节点根据提示词和调度策略，逐步生成图像。

最后，LatentUpscaleBy 节点对生成的图像进行放大，VAEDecode 节点将隐空间图像转换为像素空间的图像，SaveImage 节点保存最终生成的速写风格图片。

在这个过程中，每个节点都扮演着重要的角色，它们之间的顺序和相互作用决定了最终生成图像的质量和风格。

三、总结

好啦，经过上面一番抽丝剥茧的分析，相信你对这个宠物速写画像工作流已经有了更深入的理解。这个工作流虽然看起来复杂，但它巧妙地结合了 CLIP 模型、Style Model、LoRA模型和 KSampler 等多种技术，实现了将普通宠物照片转换为艺术速写风格的功能。

对于 ComfyUI 新手来说，理解这个工作流的难点在于理解各个节点的功能和它们之间的相互作用。希望通过这篇文章的讲解，能够帮助你更好地掌握 ComfyUI 的使用技巧，早日成为 ComfyUI 大神！

新手很少用到的节点

ColorCorrect

这个节点叫做 “Color Correct”，它属于 图像处理 类的节点，主要作用是调整图像的色彩属性。

“Color Correct” 节点的功能:

这个节点提供了六个滑块来分别控制图像的以下六个色彩属性：

temperature (色温):

调整图像的冷暖色调。向右滑动增加色温，使图像偏暖 (黄色/红色调)；向左滑动降低色温，使图像偏冷 (蓝色调)。
hue (色调):

改变图像的整体色相。滑动这个滑块会循环改变图像的颜色，类似于旋转色轮。
brightness (亮度):

调整图像的明暗程度。向右滑动增加亮度，使图像变亮；向左滑动降低亮度，使图像变暗。
contrast (对比度):

调整图像明暗区域之间的差异程度。向右滑动增加对比度，使亮部更亮、暗部更暗，图像看起来更鲜明；向左滑动降低对比度，使图像看起来更柔和。
saturation (饱和度):

调整图像色彩的鲜艳程度。向右滑动增加饱和度，使颜色更加浓烈；向左滑动降低饱和度，使颜色更加接近灰度。
gamma (伽马值):

调整图像的中间色调的亮度。伽马值主要影响图像的中间灰度级别。默认值为 1.0。增大伽马值会使中间色调变暗，减小伽马值会使中间色调变亮。

简单示例:

假设你想让一张图片变得更暖色调、更亮一些，你可以这样操作：

将 temperature 滑块向右稍微拖动一些。
将 brightness 滑块向右稍微拖动一些。
观察预览图像，根据需要继续微调参数。

还有一个节点和上面的名字类似, 叫做Color Transfer

Color Transfer

这个节点叫做 “Color Transfer”，它也属于图像处理类的节点。正如其名，它的作用是将一张图片的颜色风格迁移到另一张图片上。

“Color Transfer” 节点的功能:

这个节点提供了三个主要的输入项：

src_image (源图像):

这是你想要改变颜色风格的图片，也就是颜色迁移的目标图片。
ref_image (参考图像):

这是提供颜色风格的图片，它的颜色信息将被提取并应用到源图像上。
method (方法):

这是一个下拉菜单，用于选择颜色迁移的算法。在你的截图中，选择的方法是 “Mean”。不同的算法会产生略微不同的效果。该节点支持多种颜色迁移算法. 以下是常见的几种:

Mean:

将参考图像的平均颜色应用到目标图像。这个方法简单快速，但可能无法捕捉到参考图像中复杂的颜色分布。
Hist:

基于直方图匹配的颜色迁移。它会尝试将目标图像的颜色直方图调整为与参考图像相似，从而实现颜色风格的迁移。
Lab-L:

仅迁移颜色中的亮度信息。通过在 Lab 色彩空间中匹配亮度通道的直方图，保留目标图像的色彩信息，同时将参考图像的亮度信息应用到目标图像。
Lab:

同时迁移颜色的亮度和色彩信息。在 Lab 色彩空间中同时匹配亮度和色彩通道的直方图，将参考图像的整体颜色风格迁移到目标图像。
Reinhard:

经典的颜色迁移算法，由 Reinhard 等人在 2001 年提出。它通过在 lαβ 色彩空间中匹配图像的均值和标准差来实现颜色迁移。
SOT (Self-Organizing Map Transform):

基于自组织映射的颜色迁移算法。
L-Chroma:

一种更快速且消耗更少内存的颜色迁移方法。

简单示例:

假设你有一张风景照片 (源图像)，你想让它拥有另一张油画 (参考图像) 的颜色风格，你可以这样操作：

将风景照片的输出连接到 src_image。
将油画的输出连接到 ref_image。
选择一个合适的 method，例如 “Reinhard” 或 “Lab”。
生成图像并预览结果。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。