【AI绘画】ComfyUI Flux：你必须要掌握的Flux Controlnet，商业闭环就靠它了

最新推荐文章于 2024-09-09 14:03:44 发布
最新推荐文章于 2024-09-09 14:03:44 发布
阅读量1.6k 收藏 27
点赞数 26
文章标签： AI作画 stable diffusion AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a2421417624/article/details/141705976
版权

大家好，我是爱绘画的彤姐。

目前Flux开始支持Controlent了，这个一定要掌握，今天就来带大家学习Flux中Controlnet的使用。

一、介绍

今天继续来分享Flux生态里面一个很重要插件，就是Controlnet，我们都知道Controlnet对SD有多重要，有了它，才能让商业化更加落地，目前Flux生态已经开始支持Controlnet了，主要是两家机构支持，分别是Xlabs和InstantX，今天一起来介绍介绍。

二、安装相关

我们这里分别介绍两种 Controlent 模型的安装，分别是 XLabs-AI 和InstantX。

2.1 xlabs Controlnet

插件安装：

https://github.com/XLabs-AI/x-flux-comfyui

在这里插入图片描述

模型安装：

https://huggingface.co/XLabs-AI

目前Xlabs家的Controlent已经到V3版本了，我们要安装的也是下面这3个。

目前v3版本是在1024x1024分辨率上进行训练的，效果更好。

在这里插入图片描述

下载的模型放到下面路径下即可

ComfyUI/models/xlabs/controlnets

2.2 Shakker-Labs Controlent

本来是想介绍InstantX的 FLUX.1-dev-Controlnet-Union的，但是昨天出了新东西。是Union的升级版，看了下，是InstantX联合Shakker_labs联合发布的，那我们直接测试新的即可。

在这里插入图片描述

模型地址：

https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main

模型很大，还是6.6G，该模型支持7种控制模式，包括canny（0）、tile（1）、深度（2）、模糊（3）、姿势（4）、灰色（5）、低质量（6）。

模型存放路径： \models\controlnet

要使用InstantX家的Controlnet，需要安装如下插件。

https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes

在这里插入图片描述

三、使用流程

3.1 xlabs Controlnet

安装好了 x-flux-comfyui 插件后，使用路径如下

在这里插入图片描述

完整的Controlnet工作流如下

在这里插入图片描述

核心是使用下面这个，预处理我用的以前通用的Aux，这样换其他Controlnet就不需要换节点。

在这里插入图片描述

这里我们对比两组，分别是不同反推提示词看效果.

原图如下

在这里插入图片描述

第一个用常用的WD1.4来反推提示词，测试canny、depth、head三种效果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

下面用我之前推荐的BizyAir插件里面的反推节点 Joy Caption

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

可以看到效果还是不错的。

3.2 ControlNet-Union-Pro

完整工作流如下，因为这个Union Controlent太大了，我4090用顶配Flux dev跑直接爆显存，所以现在改成用GGUF来测试。这里用Q4版本来测试效果。

在这里插入图片描述

核心在于下面这个加载模型的，预处理我还是使用Aux这个通用的

InstantX Flux Union Controlnet Loader节点就是上面我们安装的 ComfyUI-eesahesNodes 插件里面带的。

在这里插入图片描述

type入参里面带有7个可选项，我们预处理选择一个模型后，这里type也要对应的选择一下即可。

在这里插入图片描述

下面是我出图的一些效果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

感觉嘛，不是很好呢，你们也自己测试看看。

四、总结

目前测下来，感觉还是有待提高，对显存占用太大了， 出图也慢，我已经用了GGUF了，出图还是要30多秒，这对我4090配置的电脑来说绝对受不了哈。

如果你实在想用，我个人还是推荐先用Xlabs的V3版本吧，分开用，这样占用显存比较低一些。

期待后续的优化，Flux生态会越来越好。

创作不易，喜欢的点个赞关注走一波~

本篇中的改版工作流全部都打包好了，想要的去后台获取吧。

工作流获取：扫描下方二维码获取，无偿分享。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

若有侵权，请联系删除

爱绘画的彤姐
关注
ComfyUI使用Flux模型
培根芝士的专栏
08-31 1500
ComfyUI是一个强大的用户界面，支持多种图像处理和生成模型，而Flux是一系列由Black Forest Labs开发的扩散模型。
k8s-flagger-istio-flux：带有Flagger，Flux和Istio的蓝绿色部署
02-01
本文将深入探讨如何在Kubernetes环境中结合Flagger、Flux和Istio实现高效的蓝绿部署，并通过Azure Kubernetes Service (AKS)、Terraform以及AzureHCL进行基础设施自动化。 Flagger是一款开源的Kubernetes应用自动化...
Flux持续火爆，这些Lora、ControlNet、工作流你值得拥有
2401_85725028的博客
08-21 1621
Flux是目前最大的AI绘画开源模型，有120亿个参数，原始文件有23GB那么大。听起来很吓人吧？但别担心，通过ComfyUI的支持，我们可以把模型压缩到12GB，并且它会自动检测显存来调整加载方式，这样我们在普通的消费级电脑上也能跑得动。Flux 在视觉效果、提示的准确性、大小和比例的灵活性、排版和输出多样性方面，比Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra这些流行模型都要好。它可以在256到2048的宽分辨率范围内生成高质量、少冗余的图像，四肢表现也非常稳定。
Flux【基础篇】：ComfyUI Flux.1工作流的本地部署安装教程
小王的储物间
08-19 4484
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。
“在线版FLUX”已支持ControlNet，无需部署开箱即用，还能在线训练LoRA模块
量子位
08-16 280
克雷西 发自 凹非寺量子位 | 公众号 QbitAI“FLUX在线版”，新增一系列重磅功能！ControlNet、LoRA等重要模块都悉数到齐，而且开箱即用，无需自行配置工作流。甚至还可以在线训练自己的LoRA模型，并通过链接进行分享。Stale Diffusion原班人马打造的最强绘图模型——FLUX上线之后，在线推理服务平台fal.ai就立即进行了跟进。后续第三方开发的ControlNet、L...
最强Flux最新CN可控成员！Flux CN 硬边缘可控模型flux-controlnet-canny【ComfyUI实测】
2401_85725028的博客
08-13 371
XLabs AI团队发布Flux 的照片级真实感Lora（flux-RealismLora）的同时，也发布了Flux的首款CN控制模型flux-controlnet-canny，熟悉CN的肯定都了解canny属于ControlNet中的硬边缘控制，在结合CN控图的时候是经常使用的，结合Canny可以实现不同场景风格的重绘。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
comfyui flux
qq_33596242的博客
08-06 444
comfyui flux模型工作流，模型下载。
[ComfyUI]Flux新纪元：Flux可控性新起点，第一个CN Canny硬边缘组件发布
2401_85725028的博客
08-10 1254
已发布。对应的训练微调代码也一同发布，这也标志着接下来Flux模型将会迎来更多的LORA素材和ControlNet可控性模型的兴起。ControlNet模型是适用于需要在图像生成过程中施加更精确控制的场景，例如结合边缘检测结果（Canny）来生成特定风格的图像。用户可以通过提供控制图像和文本提示，生成符合特定描述的图像。而就是其中线条轮廓控制的ControlNet模型，又称硬边缘。（需要的同学可自行扫描获取）
【ComfyUI】Flux 提示词太难了？Flux Prompt 轻松提示增强！更详细、更具描述性！
2401_84760719的博客
09-03 1701
Flux真的太火了，小编日常也主要以Flux出图为主了。但每每写提示词时有没有人和老徐有类似的情况，就是经常为写提示词而穷思苦想呢？怎么转换成我们最适合的自然语言风格的时候就不太会描述了呢~那么大家就一起来看看今天老徐给的这款工作流节点——是否可以派上用场。
gkji-flux:类 Flux 框架快速上手
05-14
Flux-Getting-Started 类 FLux 框架快速上手项目, 使用 React + Flux Utils / redux / react-redux / mobx 实现多个简单应用 Counter Counter 的行为很简单, 点击 + 或 - 按钮进行计数 Todos Todos 有以为行为 点击...
yocto-flux:FluxRedux的轻量化代用品
05-01
如果您只想引导页面而不希望添加Flux / Redux / Mobx的所有复杂性和抽象性，请使用yocto-flux！ 安装 只需将其放到您的packages.json ： npm i --save yocto-flux 简单的例子 只需导入你的愿望店内的任何地方，...
angular-flux:Angular 的 Flux 调度器
06-26
**Angular-Flux: 为Angular.js应用引入Flux架构** 在前端开发中，Angular.js是一个非常流行的MVC（Model-View-Controller）框架，它提供了丰富的功能来构建可维护和可扩展的单页应用程序（SPA）。然而，随着应用...
[ComfyUI]Flux新纪元：Flux第一个写实LORA和CN模型诞生，Flux生态新纪元
2401_85725028的博客
08-09 893
在Flux刚开源不到一周时间，官方团队再次发布Flux dev模型的LORA模型和ControlNet模型微调代码，这将标志着这款惊艳文生图模型生态的开始，Flux生态的新纪元始点。flux-RealismLora写实模型和 Flux ControlNet模型：。（需要的同学可以自行扫描获取）
[ComfyUI]Flux：太赞了！细节质感增强，人物降油光写实，富有电影光线，丰富画面元素
最新发布
2401_85725028的博客
09-09 678
今天介绍一款国产Flux LORA模型：FLUX–细节质感提升–FLUX DETAILER，这是一款增强Flux模型细节的flux-lora模型。该LORA模型可以给人物降低油光，同时用于提升真实度和细节更富有电影感的光效增加画面元素丰富度，可以直接用于Flux生图或图生图提升细节。• 基础触发词：建议配合渲染类型词使用。；；• LORA权重：需要根据生图类型灵活调整。0.1-0.5；0.35-0.75；0.3-0.5；0.15-0.75。
[ComfyUI]Flux​：还在为不会写提示词发愁？免费白嫖LLM扩写助手，无门槛简单几步轻松搞定！
2401_84760719的博客
09-06 1006
在之前的文章中介绍了利用BizyAir白漂强大的Joy大模型图像反推提示词文章（[[ComfyUI]Flux：不花钱免费白嫖最强反推JoyCaption，仅需几步无门槛轻松搞定]。在AIGC绘图领域利用LLM大模型反推LLM提示词优化扩写LLM咨询获取灵感是几大重要的助力应用场景。当进入Flux模型时代，它的提示词更适合人类自然语言，这与LLM大模型也让不谋而合，因此在利用Flux直出图中，LLM大模型扩写提示词将更有力，将得到更好的画质效果。今天文章主题将为大家介绍利用。
[ComfyUI]Flux：新添深度和线条3款CN成员，工业级可控性即将到来，继LORA后的生态最后一公里
2401_85725028的博客
08-15 1140
在官方推出LORA模型训练方案后，社区LORA模型如雨后春笋正在日益增多。对于Flux模型ControlNet模型这将是剩下最后一款可控性的里程碑，因此XLabs-AI团队在LORA和ControlNet的训练备受社区关注。
免费替代Midjourney！FLUX.1使用方法大全，支持ComfyUI
qq_26303031的博客
08-05 2806
FLUX.1是由Black Forest Labs推出的开源AI图像生成模型，由Stable Diffusion原班人马打造，该模型拥有12B参数，包含三种版本：FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell]。还介绍了核心技术和4种使用教程。
[ComfyUI]Flux：秀色可餐精品美食，谁愿来品尝？迄今最大开源万能模型
2401_85725028的博客
08-19 923
在之前的文章中已经多次介绍了Flux这一款文生图模型。Flux模型是由是目前笔者体验下来，整体感觉和体验最好的文生图模型。它不仅拥有增强的图像质量、照片真实感、几乎完美出手概率、强大英文文字渲染，以及复杂提示语遵循。不仅减少了文生图直出图后期手指、脚趾的处理，同时它还是一个万能的基础模型，能够实现包括：中国元素-书山画卷、重组生物生命体、精美封面设计、促销文稿设计，甚至包括前端研发中的用户体验设计稿。Flux能实现的主题内容不止这点，还有待一起更多的探索。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值