今年最火的comfy UI 插件节点超详细安装使用教程-有手就行的保姆级教程-网盘分享

最新推荐文章于 2024-08-16 22:04:51 发布
最新推荐文章于 2024-08-16 22:04:51 发布
阅读量1.5k 收藏 29
点赞数 23
文章标签： ui comfyUI comfy UI 工作流 人工智能 comfy UI 节点 comfy UI 插件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37863729/article/details/141224518
版权

今年最火的comfy UI 插件节点超详细安装使用教程-有手就行的保姆级教程

ComfyUI最受欢迎的排行榜

最近制作了ComfyUI工作流管理器插件的作者开始了一个新项目，能扫描抓取并尝试安装插件，从而提供一些信息，最终目标是成为类似Python中的Pypi、Nodejs里的Npm一样的平台。在这个过程中，他发布了一个榜单，排名基于插件在Github上的星星数，很有意思，我们来一起看看，都有哪些插件上榜，是不是都是熟面孔？

排行榜地址：https://www.nodecafe.org/
百度网盘分享：通过网盘分享的文件：comfy一键启动器-工作流分享
链接: https://pan.baidu.com/s/1dxext3uuKumL8UDHdKwHjA?pwd=5z3c 提取码: 5z3c
–来自百度网盘超级会员v3的分享
永久有效分享链接请到原文博客

image.png

中文作为提示词

相信大家在使用ComfyUI写提示词的时候，经常是使用翻译软件把我们的中文翻译成英文再复制到comfyui中，这样非常的不方便，我这边给大家推荐一个中文提示词的插件，不用API，使用本地部署一劳永逸。

节点安装

使用到的节点也是非常有名的mixlab节点，我们在管理器安装

或者通过URL安装：https://github.com/shadowcz007/comfyui-mixlab-nodes

手动安装的话我们就下载github主页的项目压缩包解压到我们的ComfyUI \ custom_nodes文件夹中即可

安装完成记得重启哦

image.png

使用节点

我们按下图就可以把中文提示词节点添加到我们的画布中

image.png

但是这个时候还是不可以用的

想要在本地翻译，我们还需要下载翻译的大语言模型

下载完成后我们放在 ComfyUI / models / llamafile/ 文件夹下，没有llamafile文件夹我们需要自己创建一个哦

作者强烈推荐：Phi-3-mini-4k-instruct-GGUF 下载地址：https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf/tree/main

image.png

作者建议备选：llama3_if_ai_sdpromptmkr_q2k 下载地址：https://hf-mirror.com/impactframes/llama3_if_ai_sdpromptmkr_q2k/tree/main

image.png

image.png

如何我点击添加提示词队列就可以使用了哦

image.png

生成打开是自动进行一个AI的扩写，我觉得不太好用所以不建议开启

image.png

值得注意的是第一次使用时需要科学上网，不然会报网络错误哦

本篇教程为大家介绍的是SDXL的ControlNet王者Union_Promax。这个模型在我上一篇教程照片转简笔画的工作流中有用到，这里特地拎出来讲解一下。

听名称就知道这个模型有多厉害，这个模式是集成了12种控制方法的SDXL版本的ControlNet模型

包括常用的Canny，线稿，Openpose，tile，depth等等

报脸网项目地址（需要网络通畅）：https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

项目主页也是放出了效果图

image.png

ComfyUI具体使用方法

在WebUI中就是和普通ControlNet一样正常使用，模型选择刚刚下的就行。

image.png

接下来教大家如何在ComfyUI中具体使用：

我们进入刚刚的项目主页到文件和版本扩展页，把带promax后缀的模型给下载了

image.png

下载完我们把文件放到 ComfyUI \ models \ controlnet文件夹中

提示：如果你和WebUI共享文件，也可以像我下图一样放在WebUI的文件夹中

image.png

如果想要在Comfyui中使用我们还需要把ControlNet预处理器的插件更新到最新版本

image.png

更新完重启，我们就可以添加ControlNet++加载器

image.png

这个加载器就是帮我们区分好了控制类型，我们只需要加载刚刚下载的模型，根据你的实际使用情况选择不同的控制类型即可

比如我这里用的是Canny的预处理器，我们控制类型选的就是Canny。Depth和Openpose，tile也是同理

image.png

image.png

预览效果我就不给大家演示了，和一般ControlNet的模型效果都是大同小异的，大家看看官网的效果参考参考就行

image.png v

1. IPAdapter简介

探索ComfyUI中不可或缺的IPAdapter插件，本指南将引导您从基础使用到高级技巧，使您能够充分利用这一强大工具，提升开发效率和应用性能。

IPAdapter是一个轻量级的适配器，其功能是实现图像风格迁移，即将一张或多张图像的风格转移到另一张图像上。简而言之，它的作用类似于单图像的lora技术。

IPAdapter通过接受一张图像输入，将其编码为Token，并与标准提示词混合，共同作用于图像生成过程。

image.png

具体的介绍可以看github上的项目：https://github.com/tencent-ailab/IP-Adapter

2. 安装ComfyUI_IPAdapter_plus插件

首先我们在管理器中安装ComfyUI_IPAdapter_plus，选择作者cubiq的

image.png

接下来，需要下载相应的模型文件，并将其放置在ComfyUI目录下。

这部分强烈建议看作者的模型安装说明：GitHub - cubiq/ComfyUI_IPAdapter_plus

目前支持的模型包括clip_vision视觉模型和IP-Adapter模型，具体包括：

image.png

image.png

模型不用全部下载，可以按需下载，我这里用到的是SDXL plus v2 和对应的SDXL plus v2 LoRA还有ip-adapter-plus_sd15.safetensors

注意，带有"sd15"后缀的模型适用于sd15 大模型，带有"sdxl"后缀的适用于sdxl大模型。同时，带有"vit-h"的模型使用ViT-H视觉编码器，而带有"vit-G"的则使用ViT-G编码器。

3. 基础工作流

本节介绍如何仅使用IPAdapter引导图像扩散，而不依赖提示词。主要涉及以下几个节点：

  • 应用IPAdapter：用于读取并转换图像特征。

image.png

  • IPadpter Model Loader：加载IPAdapter模型。

image.png

  • Load CLIP Vision：加载CLIP视觉模型。

image.png

基础工作流就是在文生图的基础上添加了这一块

image.png

我们可以在不使用任何提示词的情况下生成，类似画风的图像

image.png

，

4. 使用IPAdapter生成高质量图像

使用IPAdapter时，可能会遇到图像过拟合的问题。解决这一问题的方法是降低CFG值并提高迭代步数或者降低应用ipadapter的权重。此外，还可以通过image_negative输入图像来消除过拟合并平滑画面。可以对比上图，调整后的图像更会与原图更相似

image.png

5. 预处理图像

IPAdapter仅支持方形参考图，并默认进行居中裁剪。如果需要参考图像的特定部分，可以使用"Prep Image For ClipVision"节点进行图像处理。例如下图，我那么长的图片经过裁剪后只留下上半部分的正方形图像

image.png

6. 多张输入图像参考

IPAdapter能够同时参考多张图片的风格。在使用多张参考图时，应考虑希望在结果图像中添加哪些元素。我们可以使用图像组合批次进行多张图片的参考

image.png

7. ip-adapter-faceid-plusv2_sdxl模型

该模型专门用于参考人脸，会尽可能描述脸部特征，如眉毛形状、头发颜色等，以生成相似的脸部。经过我的测试 ip-adapter-faceid-plusv2_sdxl会比sd15 的模型好上不少。使用上也非常简单。我们把应用ipadapter改成应用ipadapterfaceid。然后模型修改成 ip-adapter-faceid-plusv2_sdxl，由于改模型必须搭配lora所以我们还需要加载对应的lora模型，最后再添加ipadapterinsightface的模型加载器

image.png

对比生成效果还是有七分相似的

image.png

8. IPAdapter在图生图中的应用

输入一张人像像作为底图，使用IPAdapter生成图像。

image.png

image.png

9. ControlNet

在控制图像构图的同时，增加IPAdapter的参考，以生成保留构图并参考风格的作品。

image.png

10. Embedding嵌入组

为了节省显存，可以将CLIP视觉模型处理后的数据保存为Embedding，后续直接使用。

我们使用IPadapter编码在右边拉出保存嵌入组即可保存为Embedding

image.png

保存的路径为output文件夹内

image.png

使用时我们添加 **IPAdaper Load Embeds（读取嵌入组）**节点加载Embeddings即可

以上就是IPAdapter的基础使用方法，如果有收获的话请点赞支持一下哦。

Crystools 可视化实时显示硬件指标3

很多小伙伴应该都在其他视频或者工作流界面中看到这个实时显示各项硬件负载情况的界面，然而自己却没有。这其实是一个ComfyUI的插件效果。该插件叫Crystools，可以实时可视化显示本机的各项硬件使用情况，包括CPU、RAM（内存）、GPU（显卡）、VRAM（显存）、HDD（磁盘）等硬件的实时使用进度条，以及工作流的进度百分比和本次工作流的所耗时间！

image.png

插件主页

插件名称：ComfyUI-Crystools

github主页地址：https://github.com/crystian/ComfyUI-Crystools

该插件不仅提供资源监视器，还有一些非常有用的节点。比如图像比较就非常的常用

image.png

安装方法

方法一：通过comfyui的管理器进行安装，点击“管理器”，点击“安装节点”，搜索关键词“ComfyUI-Crystools”，点击“安装”

image.png

方法二：直接从节点的github主页下载zip压缩包，解压到“\ComfyUI_windows_portable\ComfyUI\custom_nodes”文件夹中

image.png

安装成功后我们在新建节点就可以使用改插件提供的节点包

image.png

ComfyUI的Brushnet插件：多功能局部重绘的利器

Brushnet。这款插件以其强大的局部重绘功能而闻名，并且最近经过了一次重要的更新，增加了更多实用的功能。今天，我们将深入探讨Brushnet插件的各个方面，看看它如何帮助我们在图像编辑中实现更精细的控制。

Brushnet不仅能够进行局部重绘，还支持图像扩展和删除指定元素。这款插件的多功能性使其成为图像编辑者必备的工具之一。

1. 插件安装

你可以通过访问插件官网来下载Brushnet。或者使用管理器安装

官网：https://github.com/nullquant/ComfyUI-BrushNet

安装完成后，别忘了重启服务以确保插件正常工作。

image.png

2.模型安装

Brushnet需要一些特定的模型文件。你可以在官网下载这些模型，并按照指示将它们放置在相应的目录下。例如，将模型文件放置在models/inpaint路径下。

github主页模型的下载链接：

image.png

这是我的文件夹的结构：models/inpaint

image.png

3. 使用流程

这里列一下Brushnet可以干的事情：

  • 基础使用 SD 1. 5 和 SDXL
  • Controlnet、Lora、IPAdapter混合使用
  • 混合修补
  • 图片扩图
  • 局部对象删除
  • 添加背景
  • 大图修复
  • 图片批量处理

Brushnet使用起来也很方便

路径：内补 - BrushNet

image.png

通过使用Brushnet，你可以轻松地替换图像中的元素。比如把蛋糕变成汉堡

核心节点是BrushNet，然后BrushNet加载器选择SD 1. 5 或者SDXL的模型即可。

image.png

BrushNet节点参数属性说明：

  • 模型：连接大模型
  • VAE：连接vae
  • 图像：连接初始图片
  • 遮罩：连接遮罩，这样就只重绘遮罩范围
  • brushnet：选择模型，有 4 种
  • 正面条件：正面提示词
  • 负面条件：负面提示词
  • 缩放：BrushNet 的"强度"，默认是 1，越大，BrushNet 对最终出图的影响也就越大；越小就影响越小。
  • 开始引导步数：就是从哪一步开始影响图片的生成。
  • 结束引导步数：就是从哪一步结束影响图片的生成。

图片扩图

扩图的话要用到PowerPaint这个节点

image.png

PowerPaint是一个多功能图像修复模型

下面是对应的官网

https://github.com/open-mmlab/PowerPaint

完整工作流如下

image.png

其他还有很多Brushnet插件的功能，比如替换背景，局部对象删除等等。我都已经为大家准备好了工作流，使用都很简单，感兴趣的小伙伴可以加我们交流群获取。感觉有了Brushnet可以替换以前用的一些插件了，不管是换人、换背景、删除东西、Brushnet都能搞定，太强了，大家快学起来。

image.png
博客原文：专业人工智能技术应用论坛

CloseAi论坛
关注
【第3章】ComfyUI界面介绍（新增节点的3种方式/主工作区/工作流/设置/插件管理界面）ComfyUI基础入门教程
聚梦小课堂
06-12 704
ComfyUI软件界面介绍，内容涵盖：主工作区、工作流管理区、设置界面、插件管理界面...
【ComfyUI插件】ComfyUI核心节点(一)
My_Weakness的博客
03-17 3247
ComfyUI核心节点，讲解第一篇。
ComfyUI 极其好用的 效率节点插件
2401_84760527的博客
05-21 2885
如果你之前有玩过 Stable Diffusion WebUI ，相信对 X/Y/Z 图表脚本很熟悉了。通过 X/Y/Z 图表脚本，我们可以快速的 比较不同的模型、loras、cfg 比例、步骤、ControlNet 等的效果。从而极大的提高出图调试的时间如果你忘咯(bushi，可以翻看之前的文章今天分享的 效率节点 插件就可以解决这个问题，同样的还有很多其它好用的功能也一块来看看。
Master Comfy：按需求查找 ComfyUI 自定义节点
weixin_51674085的博客
08-12 364
是由 ComfyDeploy 推出一个用于查找自定义节点的小工具，你可以直接输入你的需求然后就会返回推荐的自定义节点，当然也可以当作节点文档大集合。，与上面的不同，这个是传统的基于关键词查找的，当然好处是数据也是开源的，你可以基于它做二次开发，例如做一个你的 Master Comfy。
AI绘画天花板工具-在线使用comfyUI方法！无需部署！（漫画线稿上色）
玩AI的小胡子-博客
08-02 537
这算是目前ai绘画领域的天花板工具了，你看到或者用过的ai电商工具，一键换装，一键换背景，一键生成模特。都是基于这个工具搭建然后换个壳包装而成的软件。
下载和补全ComfyUI节点方法之一
weixin_47420447的博客
04-25 2880
第三方节点查询网址。
开源JumpServer堡垒机手把手保姆级教程
weixin_56556552的博客
05-29 1852
JumpServer 堡垒机 一、简介 1.总体介绍 JumpServer 是全球首款开源的堡垒机，使用 GNU GPL v2.0 开源协议，是符合 4A 规范的运维安全审计系统。 JumpServer 使用 Python / Django 为主进行开发，遵循 Web 2.0 规范，配备了业界领先的 Web Terminal 方案，交互界面美观、用户体验好。 JumpServer 采纳分布式架构，支持多机房跨区域部署，支持横向扩展，无资产数量及并发限制。 改变世界，从一点点开始。 2.特色优势 开源:
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3460
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
ComfyUI 基础教程（十二）：AI换脸神器 InstantID ComfyUI， 保姆级安装与使用测评
细节控-AI先行者的博客
02-21 1657
AI换脸技术发展迅速，roop，Reactor，ipadapter-faceid，photomaker，InstantID，换脸神器更新非常快。对比lora训练，faceID，intantID，IPA，在人脸风格的迁移上，是目前AI换脸的主要方式。而最新出的InstantID，只需单个图像即可实现ID保留生成，相似度极高。
最新八股文面试题
weixin_44530708的博客
03-01 2426
最新八股文面试题
Stable Diffusion 保姆级教程！全网最新最全！小白必备！
不定期分享ai绘画相关知识~
12-26 1392
它将Stable Diffusion的安装部署集成打包，提供一键安装脚本，并提供Web界面操作界面，极大简化了Stable Diffusion的操作和使用，让没有不懂代码的小白也能轻松上手使用Stable Diffusion模型。下载完成后，cd stable-diffusion-webui进入Stable Diffusion Web Ui的项目目录，在项目目录里会看到webui.bat和webui.sh这两个文件，这两个文件就是Stable Diffusion Web Ui的安装脚本。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 1964
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
ComfyUI安装与下载
qq_53830556的博客
07-10 2907
ComfyUI安装与下载
ComfyUI使用教程
Alex919的博客
03-28 2602
对于这种纯英文的界面，英语一般的小伙伴可能用起来比较吃力，但是不要慌，和WebUI一样，ComfyUI也是可以安装过插件的，插件地址在https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation，下载以后拷贝到ComfyUI安装目录下的custom_nodes文件夹即可。我们就用默认模版的默认提示词，然后点击提示词队列，就可以出图了，而且工作流的一个好处就是可以随意拖拽任意一个模块到指定的位置上，而且可以随意调整模块的大小，很方便。
ToonCrafter: 在线使用和 ComfyUI 工作流
weixin_51674085的博客
06-03 621
（动漫插帧技术）现在可以在线使用了，并且还有一个非官方的开源 ComfyUI 节点可用了，支持在 8G VRAM 下使用！
ComfyUI搭建使用教程
热门推荐
培根芝士的专栏
11-23 2万+
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI， 通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。ComfyUI因为内部生成流程做了优化，生成图片时的速度相较于WebUI有10%~25%的提升（根据不同显卡提升幅度不同），生成大图片的时候不会爆显存，只是图片太大时，会因为切块运算的导致图片碎裂。
ComfyUI节点详细介绍1---实用工具
m0_38020710的博客
07-08 996
将需要共享的文本数据存储在一个单独的文件或模块中，然后在需要使用的不同片段中引用该数据。：对于多个节点共享的属性或设置，可以将这些属性抽象为一个单独的配置文件或对象，并在各个节点中引用和使用这些共同的属性。：将流程中经常变化的数据提取为变量，这些变量可以在需要的节点中被修改，并且修改一处可以影响所有依赖于该变量的节点。2.2 在clip节点右键->选择输入->转为文本输入(其他节点支持此功能则都可用primitive元节点)2.3 元检点连接clip节点，此时clip中的文本将是元节点中的数据。
【本地+在线】Comfyui的基本工作流的搭建----文生图+图生图
最新发布
javanaxx的博客
08-16 1444
最后的结果如下图：注：事实上，我们没有必要每次用comfyui时都来创建比这个基本骨架更加完善的工作流，你可以使用b站秋叶aaaki的comfyui整合包（点击跳转），这位大佬的整合包会在你每次启动时默认搭建好了工作流，相当方便。点击添加提示词队列：生成结果如下图：（结果，在这里没有添加任何其他的插件）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值