Comfyui自学笔记之-ControlNet之线稿篇

最新推荐文章于 2025-03-13 10:07:02 发布
最新推荐文章于 2025-03-13 10:07:02 发布
阅读量1k 收藏 8
点赞数 14
文章标签： 笔记 stable diffusion 人工智能 AIGC comfyui AI作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760719/article/details/145458581
版权

前言

我们简单介绍了一些ControlNet的知识。之前的介绍是基于WEBUI的使用，不过在Comfyui中使用方法也基本一样。今天开始我们基于Comfyui的使用将每一个ControlNet都来介绍下，今天先介绍关于线稿类的。

一：Canny硬边缘

上图是一个最基本的ControlNet工作流，整个ControlNet接在了正面提示词与采样器之间。

先用预处理器将图片处理成线稿后，再和ControlNet模型一起传给节点并进入采样器进行采样画图。

强度参数：用来控制ControlNet强度的，默认为1。一般会调小一些。强度越小，ControlNet控制力度越弱，生成的图片发挥越大。强度越大，ControlNet控制力度越强，生成的图片就越会遵从预处理的结果。

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

低阈值：针对一些细节的部分，它的阈值的控制。 高阈值：针对整体进行一个阈值的控制。 数值为0-255。

阈值越高检测的细节会越少，或检测不到。阈值越低越容易检测到物体，同时检测的细节会越多。

二：SoftEdge软边缘

SoftEdge预处理的图片有一些灰色的线条。在Comfyui中白色的控制能力是最强的，灰色相对来说弱一些，黑色则是不受控制的。所以软边缘的控制能力就没有Canny那么严格了，AI的发挥空间也会更大一些了。

目前有3种预处理器分别是：HED模糊线、pidinet模糊线预处理器、TEED线条预处理器。

可以看到Pidinet的控制力比HED要稍弱一些。当我们想要AI的自主发挥空间比较大时，就可以选择Pidinet预处理器。并且Pidinet处理器所需要的时间和电脑资源也会比HED相对低一些。

TEED线条预处理器处理的线条以及阴影部分是比较精致的，背景也可以勾勒出来。并且很好的提供了一个精致的灰度图。

增稳这个参数，就是调整预处理后图像的线条稳定性。

三：Scribble涂鸦

预处理器有：Scribble涂鸦预处理器、ScribbleXDoG涂鸦预处理器、FakeScribble伪涂鸦预处理器、ScribblePiDiNet涂鸦预处理器。这几个预处理器控制强度越来越宽松。

Scribble涂鸦预处理器、ScribbleXDoG涂鸦预处理器是官方自带的预处理器模型，不需要额外下载。这两个是对边缘进行强化的一个检测，细节也比较高一些。

FakeScribble伪涂鸦预处理器所使用的模型就是前面SoftEdge里面HED软边缘预处理器的模型。所以也可以把它看成是HED涂鸦预处理器。

ScribblePiDiNet涂鸦预处理器也是调用的SoftEdge里面的pidinet软边缘预处理器的模型。

四：Lineart艺术线

预处理器有：LineArtStandard艺术线预处理器、LineArt艺术线预处理器、AnimeLineArt动漫艺术线预处理器、MangaAnime漫画艺术线预处理器。

LineArtStandard艺术线预处理器是官方自带的模型，不需要额外下载。是一个标准的艺术线预处理器。

LineArt艺术线预处理器，是一个适用于真实感图片的预处理器。

AnimeLineArt动漫艺术线预处理器与MangaAnime漫画艺术线预处理器都是用来处理动漫图片的。它们的区别是MangaAnime一般用于指代那些具有特定日本漫画风格的(这种风格特点就是它面部表情比较明显、色彩比较鲜艳)。AnimeLineArt就是一个比较包罗万象的二次元图像。MangaAnime处理的结果更精细、控制力度更强。AnimeLineArt相对来说就稍弱一些了。

五：MLSD直线检测

一款专门用来检测直线的预处理器。一般用于室内设计，建筑类。

刻痕阈值：检测我们图片中，它认为是直线分割的区域。每次改变数值加减0.1或者0.001变化，不要一下变的太多了。

距离阈值：检测出最短的直线是多长。数值可以变化大一些，可以+5左右去变。

六：分辨率与完美像素

分辨率代表着我们预处理出来的这个图像它的分辨率。分辨率的值代表着预处理出来的图像最短边的一个像素，另外一个边会等比缩放。

一张图像它的分辨如果太小，那么细节就非常少了。图像分辨率越大的话，表现的细节就非常的多了。

预处理出来的图像和原来上传的图像它的分辨率是相同的，这就叫完美像素。当我们需要一个更精细的图像，我们可以通过完美像素去执行。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

【深度学习】contorlnet Pixel Perfect
q742971636的博客
05-28 826
在A1111框架内的ControlNet中，像素完美是一个自动化的特性，它能调节图像处理工具（即注解器）的分辨率，使之与您正在处理的参考图像相匹配。这一功能的精妙之处在于，它能够自主选择预处理器的分辨率，用户无需手动设置。这种自主性通常能带来更佳的效果，因为预处理器始终运行在其设计的最佳分辨率上。通过自动完成这些调整，它确保了图像的最高质量和清晰度。想象一下尝试将方形榫头塞入圆形孔中——没有恰当的调整，就会格格不入。同样地，注解器与图像之间分辨率的不匹配可能会引入不良的伪影或扭曲。
ComfyUI工作流 根据图像生成线稿草图
Mr数据杨
12-22 280
其主要流程基于 Stable Diffusion 技术，结合文本和图像条件，精确生成符合预期的线条艺术图像。工作流的核心是通过模型的条件设置和图像预处理，将输入图像解析为线稿形式，优化图像细节。线稿草图生成工作流旨在将输入图像转换为高质量的线条艺术输出，通过模型加载、文本条件设置、图像预处理与生成优化等步骤，逐步实现符合预期的线稿效果。该工作流结合了 Stable Diffusion 模型、ControlNet 细化处理，以及线稿预处理模块，能够高效生成专业化的线条艺术，适合艺术创作与设计场景。
【comfyui教程】ComfyUI 完全入门：ControlNet 使用教程
2401_84760527的博客
11-05 1459
今天继续给大家分享ComfyUI的入门必备技能：ControlNet。ControlNet 提供了十几种生成图片的控制方式，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高AI绘画的质量特别有用；基于 ControlNet 的能力，炼丹师们可以将AI绘画拓展到很多的应用场景，比如艺术二维码、光影文字、线稿上色、老照片修复、图片风格转绘、IP图片创作等等。
2Img.ai的AIGC课程-5-4 最强线稿上色——Lineart线条艺术
最新发布
ms44的专栏
03-13 331
lineart_anime 模型在参与绘制时会有更加明显的轮廓线，这种处理方式在二次元动漫中非常常见，传统手绘中描边可以有效增强画面内容的边界感，对色彩完成度的要求不高，因此轮廓描边可以替代很多需要色彩来表现的内容，并逐渐演变为动漫的特定风格。Canny 提取后的线稿类似电脑绘制的硬直线，粗细统一都是 1px 大小，而 Lineart 则是有的明显笔触痕迹线稿，更像是现实的手绘稿，可以明显观察到不同边缘下的粗细过渡。主要的内容也就是想根据线条相关的外轮廓，内部轮廓，识别生成出来对应的实体图。
AI绘画Stable diffusion最强大的功能：ControlNet插件详解
白帽阿叁的博客
06-26 1620
大家好，我是程序员晓晓。在之前的几篇文章中我已经陆续地介绍过Stable diffusion的一些基础功能，接下来要介绍的是Stable diffusion中稍微难一点的，但同时也是比较实用的功能：ControlNet。简单来说，ControlNet 是一个通过添加来控制中图像生成的。额外条件怎么理解呢？在没有ControlNet之前，我们一般都是通过提示词来生成图片，这里的提示词其实就是一种条件。而额外条件就是在提示词的基础上再增加一些参考条件，比如人物的姿势、轮廓、空间感等。
ComfyUI预处理器ControlNet简单介绍与使用（附件工作流）
菜鸟也学大数据的博客
07-07 2656
ControlNet 是一个很强的插件，提供了很多种图片的控制方式，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高AI绘画的质量特别有用。接下来就演示几种热门常用的控制方式。
ComfyUI 基础教程—— 应用 Controlnet 精准控制图像生成
2401_86940371的博客
09-08 3556
你是否有见过下面类似这样的图片：看起来平平无奇，当你站远点看，或者把眼睛眯成一条缝了看，你会发现，这个图中藏有一些特别的元素。这就是利用了 Ai 绘画中的 ControlNet，实现对图片的相对更精准控制。上一篇文章讲述了文生图的基本工作流和最基础的核心插件用法。通过提示器可以描述我们想要生成的图片。但是通过文字是无法精准描述描述图片的。
ComfyUI运行FLUX.1-dev-Controlnet-Inpainting-Beta+PuLID-FLUX（4090 48GB）
weixin_70315008的博客
10-15 899
在ComfyUI运行FLUX.1-dev-Controlnet-Inpainting-Beta和PuLID-FLUX
ComfyUI | FLUX-ControlNet，FLUX-LoRA和FLUX-IPAdapter等工作流【附下载】
Vampire_2017的博客
11-03 1980
FLUX.1是由Black Forest Labs研发的前沿AI模型，它正在重塑我们依据文本描述创建图像的模式。FLUX.1能够生成与输入提示高度契合的图像，这些图像细节惊人、复杂精妙，从而使其在众多模型中脱颖而出。FLUX.1成功的奥秘在于其独特的混合架构，这种架构融合了不同类型的Transforms，并且有多达120亿的参数作为强大支撑。这一架构使得FLUX.1不仅能够生成视觉上极具吸引力的图像，还能以令人惊叹的精准度对文本描述进行准确呈现。
【ComfyUI专栏】ComfyUI中应用ControlNet
技术与管理的平衡木-
02-25 377
其实非常简单的方式就是在ComfyUI Manager节点中来进行安装，这时候我们搜索Controlnet就可以找到最新的Controlnet来安装需要的内容,在ComfyUI Manager的搜索栏中输入“ControlNet”，系统会自动检索与ControlNet相关的插件或模块。或者使用边缘检测图（Edge Map）来保持特定物体的轮廓和结构。当然安装完成后，如果需要去使用，我们依然需要去下载相应的Controlnet模型才能够完成使用，这时候我们就需要去下载相应的模型，当然默认情况下是1.1。
AI-comfyui-工作流-绘画
04-11
内容：comfyui工作流，包含《4种局部重绘工作流》、《t2i_controlnet风格化》、《t2icontrolnet》、《test_cn_aux_full》、《局部保留重绘》、《标准i2i预览》、《标准t2i放大自动保存》、《标准t2i高清修复》、...
Flux 部署笔记，整合包下载 comfyui
jacke121的专栏
11-07 1519
Flux 部署笔记，整合包下载 comfyui
AI绘图:Controlnet在ComfyUI中的使用教程：提升Stable Diffusion可控性
04-01 5523
Controlnet是Stable Diffusion中一个至关重要的功能，它极大地增强了图像生成的可控性。通过引入额外的条件，Controlnet使我们能够更精确地控制生成的图像内容。本教程将详细介绍如何在ComfyUI中使用Controlnet，从而让你的创作过程更加灵活和精确。
[ComfyUI进阶教程] lcm+Lora+Controlnet工作流工作流
细节控-AI先行者的博客
01-20 2852
这是一个使用了LCM+lora加载器+CN（depth+tile）的工作流。#comfyui #ControlNet #工作流。配置了3个lora加载器，用来进行人物和风格设定。LCM lora加载器，加快生成图片的时间。网盘地址：专栏工作流--ControlNet。提示词编辑器，预制了默认的动态提示词。点击生成图片，组成了右侧的图片。1.tile用来进行风格控制。lcm+CN工作流.json。2.depth用来构图。
ComfyUI 完全入门：ControlNet 使用教程
京东科技开发者
05-31 1365
今天继续给大家分享ComfyUI的入门必备技能：ControlNet。ControlNet 提供了十几种生成图片的控制方式，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高AI绘画的质量特别有用；基于 ControlNet 的能力，炼丹师们可以将AI绘画拓展到很多的应用场景，比如艺术二维码、光影文字、线稿上色、老照片修复、图片风格转绘、IP图片创作等等。...
Windows安装Stable Diffusion ComfyUI及问题解决记录（注意不是Stable Diffusion WebUI）
热门推荐
暂时先用这个名字
03-17 1万+
如果你已经熟练掌握了webui，那么这个界面并不难理解，他更好的将流程展现在了我们面前，并且能实现局部绘画，拼接绘画。有些问题可以参考webui安装时遇到的，毕竟大家都是stable diffusion，很多时候主因是一样的。
基于ComfyUI的AnimateDiff的使用总结
金闪闪_Li的博客
10-30 6699
AnimateDiff是一个可以对文生图模型进行动画处理的实用框架。框架的核心是将新初始化的运动模块插入到冻结的文生图模型中，从而产生多样化和个性化的动画图像。简单的说，AnimateDiff是一个可以从文本到动画的框架
【ComfyUI插件】ComfyUI核心节点(三)
My_Weakness的博客
03-18 3149
ComfyUI的学习是一场持久战，当你掌握ComfyUI的安装和运行之后，会出现琳琅满目的节点，当各种各样的工作流映入眼帘，往往难以接受纷繁复杂的节点种类，本篇文章将以通俗易懂的语言，对ComfyUI的各种核心节点进行系统的梳理和参数的详解。
WEBUI中的完美像素模式（Pixel Perfect）到底是什么意思
聚梦小课堂
03-10 3440
在webui的controlnet中，有个选项，叫做“完美像素模式”，英文为“pixel perfect mode”，有很多朋友在使用的时候不知道这个神奇的选项是否应该勾选上，所以有时候排查问题的时候，会反复的选择和去掉勾选，网络上关于这块的资料也比较少，所以这里结合实验来简单讲讲。
comfyui controlnet节点 缺少 apply controlnet（advanced）
02-11
### 解决ComfyUI ControlNet节点中缺失`apply controlnet (advanced)`选项的方法 #### 安装最新版ComfyUI 由于ComfyUI版本更新迅速，确保使用的是最新稳定版本可以减少兼容性和功能缺失问题的发生。如果当前使用的ComfyUI版本较旧，则可能不包含最新的特性或修复[^1]。 ```bash git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt ``` #### 更新现有安装 对于已经安装了ComfyUI的情况，可以通过拉取最新的更改来获取新特性和改进： ```bash cd path_to_comfyui_directory git pull origin main pip install --upgrade --no-deps . ``` #### 验证Python环境配置 确认所使用的Python版本与ComfyUI的要求相匹配非常重要。通常建议遵循官方文档中的推荐设置以避免潜在的问题。此外，某些特定的功能模块可能会对Python版本有额外的需求。 #### 添加ControlNet插件支持 为了使ControlNet节点能够正常工作并显示高级选项，需确保已正确加载相应的插件文件。这一般涉及到下载指定的扩展包并将它们放置于适当的位置以便程序识别。 - 访问[ComfyUI GitHub页面](https://github.com/comfyanonymous/ComfyUI)，查找有关集成ControlNet的具体说明。 - 下载必要的附加组件，并按照指示完成安装过程[^4]。 #### 调试和验证 一旦完成了上述步骤之后，重启应用程序并尝试访问ControlNet节点下的`apply controlnet (advanced)`选项。此时应该可以看到该功能项已被成功加入菜单列表之中。如果有任何异常情况发生，比如仍然看不到预期的选择框，请检查日志输出寻找错误提示信息，并据此进一步排查原因。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值