【AI绘画】ComfyUI Flux：你必须要掌握的Flux Controlnet，商业闭环就靠它了

最新推荐文章于 2024-10-22 10:02:53 发布
最新推荐文章于 2024-10-22 10:02:53 发布
阅读量2.6k 收藏 29
点赞数 26
文章标签： AI作画 stable diffusion AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A2421417624/article/details/141705976
版权

大家好，我是爱绘画的彤姐。

目前Flux开始支持Controlent了，这个一定要掌握，今天就来带大家学习Flux中Controlnet的使用。

一、介绍

今天继续来分享Flux生态里面一个很重要插件，就是Controlnet，我们都知道Controlnet对SD有多重要，有了它，才能让商业化更加落地，目前Flux生态已经开始支持Controlnet了，主要是两家机构支持，分别是Xlabs和InstantX，今天一起来介绍介绍。

二、安装相关

我们这里分别介绍两种 Controlent 模型的安装，分别是 XLabs-AI 和InstantX。

2.1 xlabs Controlnet

插件安装：

https://github.com/XLabs-AI/x-flux-comfyui

在这里插入图片描述

模型安装：

https://huggingface.co/XLabs-AI

目前Xlabs家的Controlent已经到V3版本了，我们要安装的也是下面这3个。

目前v3版本是在1024x1024分辨率上进行训练的，效果更好。

在这里插入图片描述

下载的模型放到下面路径下即可

ComfyUI/models/xlabs/controlnets

2.2 Shakker-Labs Controlent

本来是想介绍InstantX的 FLUX.1-dev-Controlnet-Union的，但是昨天出了新东西。是Union的升级版，看了下，是InstantX联合Shakker_labs联合发布的，那我们直接测试新的即可。

在这里插入图片描述

模型地址：

https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main

模型很大，还是6.6G，该模型支持7种控制模式，包括canny（0）、tile（1）、深度（2）、模糊（3）、姿势（4）、灰色（5）、低质量（6）。

模型存放路径： \models\controlnet

要使用InstantX家的Controlnet，需要安装如下插件。

https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes

在这里插入图片描述

三、使用流程

3.1 xlabs Controlnet

安装好了 x-flux-comfyui 插件后，使用路径如下

在这里插入图片描述

完整的Controlnet工作流如下

在这里插入图片描述

核心是使用下面这个，预处理我用的以前通用的Aux，这样换其他Controlnet就不需要换节点。

在这里插入图片描述

这里我们对比两组，分别是不同反推提示词看效果.

原图如下

在这里插入图片描述

第一个用常用的WD1.4来反推提示词，测试canny、depth、head三种效果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

下面用我之前推荐的BizyAir插件里面的反推节点 Joy Caption

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

可以看到效果还是不错的。

3.2 ControlNet-Union-Pro

完整工作流如下，因为这个Union Controlent太大了，我4090用顶配Flux dev跑直接爆显存，所以现在改成用GGUF来测试。这里用Q4版本来测试效果。

在这里插入图片描述

核心在于下面这个加载模型的，预处理我还是使用Aux这个通用的

InstantX Flux Union Controlnet Loader节点就是上面我们安装的 ComfyUI-eesahesNodes 插件里面带的。

在这里插入图片描述

type入参里面带有7个可选项，我们预处理选择一个模型后，这里type也要对应的选择一下即可。

在这里插入图片描述

下面是我出图的一些效果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

感觉嘛，不是很好呢，你们也自己测试看看。

四、总结

目前测下来，感觉还是有待提高，对显存占用太大了， 出图也慢，我已经用了GGUF了，出图还是要30多秒，这对我4090配置的电脑来说绝对受不了哈。

如果你实在想用，我个人还是推荐先用Xlabs的V3版本吧，分开用，这样占用显存比较低一些。

期待后续的优化，Flux生态会越来越好。

创作不易，喜欢的点个赞关注走一波~

本篇中的改版工作流全部都打包好了，想要的去后台获取吧。

工作流获取：扫描下方二维码获取，无偿分享。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

若有侵权，请联系删除

爱绘画的彤姐
关注
ComfyUI | FLUX-ControlNet，FLUX-LoRA和FLUX-IPAdapter等工作流【附下载】
Vampire_2017的博客
11-03 436
FLUX.1是由Black Forest Labs研发的前沿AI模型，它正在重塑我们依据文本描述创建图像的模式。FLUX.1能够生成与输入提示高度契合的图像，这些图像细节惊人、复杂精妙，从而使其在众多模型中脱颖而出。FLUX.1成功的奥秘在于其独特的混合架构，这种架构融合了不同类型的Transforms，并且有多达120亿的参数作为强大支撑。这一架构使得FLUX.1不仅能够生成视觉上极具吸引力的图像，还能以令人惊叹的精准度对文本描述进行准确呈现。
Flux模型系列之 在没有 ComfyUI 的 Mac Mx 上运行 Flux.1 Dev/Schnell + Lora
iCloudEnd的博客
09-18 681
在本文中，我将向您展示如何在 Mac 上轻松运行 Flux.1 模型。本文的目的是提出在 Mac 上运行 Flux.1 的替代方法，大多数可用的教程都是基于ComfyUI 的。我尝试找到一种以简单的方式生成图像的方法，使用现在支持 Flux.1 模型的stable-diffusion.cpp。您将发现一个简单的 python 应用程序，用于驱动 Flux.1 Dev 和 Flux.1 Schnell 的 stable-diffusion.cpp 以及大多数兼容的 Lora 适配器。
Flux 多合一 ControlNet 专业版
weixin_51674085的博客
08-27 331
该模型支持 7 种控制模式，包括 canny (0), tile (1), depth (2), blur (3), pose (4), gray (5) 和 low quality (6)，并且还能和其他 ControlNet 一起使用。
ComfyUI使用Flux模型
培根芝士的专栏
08-31 1684
ComfyUI是一个强大的用户界面，支持多种图像处理和生成模型，而Flux是一系列由Black Forest Labs开发的扩散模型。
ComfyUI | 5分钟部署最新Flux大模型
2401_84815950的博客
10-10 1440
Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具，它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型，但它们各自基于不同的大模型。
“在线版FLUX”已支持ControlNet，无需部署开箱即用，还能在线训练LoRA模块
量子位
08-16 350
克雷西 发自 凹非寺量子位 | 公众号 QbitAI“FLUX在线版”，新增一系列重磅功能！ControlNet、LoRA等重要模块都悉数到齐，而且开箱即用，无需自行配置工作流。甚至还可以在线训练自己的LoRA模型，并通过链接进行分享。Stale Diffusion原班人马打造的最强绘图模型——FLUX上线之后，在线推理服务平台fal.ai就立即进行了跟进。后续第三方开发的ControlNet、L...
[ComfyUI]Flux新纪元：Flux可控性新起点，第一个CN Canny硬边缘组件发布
2401_85725028的博客
08-10 1290
已发布。对应的训练微调代码也一同发布，这也标志着接下来Flux模型将会迎来更多的LORA素材和ControlNet可控性模型的兴起。ControlNet模型是适用于需要在图像生成过程中施加更精确控制的场景，例如结合边缘检测结果（Canny）来生成特定风格的图像。用户可以通过提供控制图像和文本提示，生成符合特定描述的图像。而就是其中线条轮廓控制的ControlNet模型，又称硬边缘。（需要的同学可自行扫描获取）
Flux【基础篇】：ComfyUI Flux.1工作流的本地部署安装教程
小王的储物间
08-19 6126
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。
k8s-flagger-istio-flux：带有Flagger，Flux和Istio的蓝绿色部署
02-01
本文将深入探讨如何在Kubernetes环境中结合Flagger、Flux和Istio实现高效的蓝绿部署，并通过Azure Kubernetes Service (AKS)、Terraform以及AzureHCL进行基础设施自动化。 Flagger是一款开源的Kubernetes应用自动化...
gkji-flux:类 Flux 框架快速上手
05-14
Flux-Getting-Started 类 FLux 框架快速上手项目, 使用 React + Flux Utils / redux / react-redux / mobx 实现多个简单应用 Counter Counter 的行为很简单, 点击 + 或 - 按钮进行计数 Todos Todos 有以为行为 点击...
最强Flux最新CN可控成员！Flux CN 硬边缘可控模型flux-controlnet-canny【ComfyUI实测】
2401_85725028的博客
08-13 470
XLabs AI团队发布Flux 的照片级真实感Lora（flux-RealismLora）的同时，也发布了Flux的首款CN控制模型flux-controlnet-canny，熟悉CN的肯定都了解canny属于ControlNet中的硬边缘控制，在结合CN控图的时候是经常使用的，结合Canny可以实现不同场景风格的重绘。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
comfyui flux
qq_33596242的博客
08-06 469
comfyui flux模型工作流，模型下载。
ComfyUI | 5分钟部署最新Flux大模型 | flux小白必看！
最新发布
zzz777qqq的博客
10-22 1248
Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具，它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型，但它们各自基于不同的大模型。但最近推出了一款比前两者更强大，生成图像更加逼真，在细节上更符合现实世界的模型，就是FLUX！
【ComfyUI】Flux 提示词太难了？Flux Prompt 轻松提示增强！更详细、更具描述性！
2401_84760719的博客
09-03 2128
Flux真的太火了，小编日常也主要以Flux出图为主了。但每每写提示词时有没有人和老徐有类似的情况，就是经常为写提示词而穷思苦想呢？怎么转换成我们最适合的自然语言风格的时候就不太会描述了呢~那么大家就一起来看看今天老徐给的这款工作流节点——是否可以派上用场。
[ComfyUI]Flux：官方IPA组件来袭,风格一致性迁移,Flux生态迅猛技术迭代学不完跟不上！
2401_84760527的博客
08-23 1093
前言，在Flux这款迄今为止最大的开源文生图模型出世以来，在时间内得到了社区的认可。并在官方和社区的推动下，Flux模型的生态发展速度很快。IP-Adapter组件，这是一款以风格一致性保持的核心组件，经常用使用于任务或图像的风格迁移，以及人物写真方面。
[ComfyUI]Flux新纪元：Flux第一个写实LORA和CN模型诞生，Flux生态新纪元
2401_85725028的博客
08-09 951
在Flux刚开源不到一周时间，官方团队再次发布Flux dev模型的LORA模型和ControlNet模型微调代码，这将标志着这款惊艳文生图模型生态的开始，Flux生态的新纪元始点。flux-RealismLora写实模型和 Flux ControlNet模型：。（需要的同学可以自行扫描获取）
FLUX.1最强AI绘画开源新模型，comfyUI已支持，效果惊艳
m0_58477260的博客
08-06 2820
Flux 由 Stable Diffusion 初创成员 Robin 打造，他离职后成立了BLack Forest Team，最近发布了全新的图像生成开源模型 FLUX.1。
超简单 Flux 换背景工作流：结合最新 ControlNet 深度 Depth 模型
2401_84830464的博客
10-06 958
在本篇文章中，我们将深入探讨如何使用 Flux ControlNet Depth 模型进行换背景。这种方法是我之前基于 Flux 模型换背景工作流的简化版。虽然旧的工作流程功能强大，但它非常复杂且运行缓慢。今天，我们将学习一个更快速、更易用的替代方案。
comfyui flux 搭建
09-30
ComfyUI Flux 是一个基于 Vue.js 的状态管理库，它结合了 Flunt 和Vuex 的设计理念，提供了一种简单而直观的方式来处理应用的状态管理和组件之间的数据流。Flux 风格的设计允许你在单向数据流中更清晰地组织应用程序的状态变化，这对于大型和复杂的前端项目尤其有益。 以下是使用 ComfyUI Flux 构建项目的步骤： 1. **安装依赖**：首先，你需要安装 Vue、Vue Router 和 ComfyUI 的基础库，以及 ComfyUI Flux。你可以通过 npm 或 yarn 进行安装： ```bash npm install vue @vue/cli-router @comfy/ui @comfy/ui-flux ``` 2. **创建应用结构**：按照 Vue CLI 的引导，创建一个新项目，并设置好目录结构，通常会有一个 `store` 文件夹用于存放状态管理相关的文件。 3. **配置 store**：在 `store/index.js` 中，导入并配置 Flux 实例，例如使用 `createStore` 函数： ```javascript import { createStore } from '@comfy/ui-flux' const store = createStore() export default store ``` 4. **创建 actions**：在 `actions` 目录下，编写处理业务逻辑的函数，比如 `incrementCounter`。 5. **创建 mutations**：在 `mutations` 目录下，定义如何更新状态，如响应 action 的执行结果。 6. **使用 store 在 components**：在组件里通过 `useStore` hook 访问和监听 store，例如： ```vue <template> <button @click="increment">Increment</button> <p>Count: {{ count }}</p> </template> <script> import { useStore } from '@comfy/ui-flux' export default { setup() { const { state: { count }, dispatch } = useStore() function increment() { dispatch('INCREMENT') } return { count, increment } } } </script> ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值