Flux全新生态 | 一文全解析Flux Tools 模型+工作流(文末自取)

Android学习小分队

于 2025-03-14 11:52:18 发布

阅读量620

点赞数 17

文章标签： stable diffusion AI作画 LORA 人工智能 AI绘画 Flux Tools

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_56144365/article/details/146253697

版权

前言

前两周，黑森林工作室发布了他们的FLUX Tools，一共有4款全新的控制模型：canny,depth,Fill和Redux。

模型简介

我们知道在原来的SD中的ControlNet中有也有canny和Depth，分别是线稿控制，深度控制。而在Flux Tools中的Canny和Depth是内嵌在大模型中的控制模型，是通过加载Lora来控制图像生成，不需要像SD中调用Controlnet来得这么麻烦。

而Fill模型同样也是通过内嵌在大模型中的方式，以Lora的形式调用即可，而且还嵌入了inpaint的功能，直接可以对图像进行局部重绘和图像扩展。

Redux模型和上述三个同理，也是通过调用Lora方式进行引用，其作用是类似之前sd的ip-adapter风格迁移的功能。

模型安装

首先说明的是这次Flux Tools模型相对比较大，占用的显存也比较高，如果电脑配置在24G以上显存可以下载到本地使用，如果是低显存容易报错，可以考虑云端使用。(推荐端脑云-CG迷大佬的云端镜像)
在这里插入图片描述

以上是涉及到的模型和对应素材，已打包，文末自取~

模型位置：

FLUX内嵌的Canny、Deth、Fill大模型放在：ComfyUI/models/diffusion_models/ 文件夹内

FLUX Redux 大模型放在：ComfyUI/models/style_models/文件夹内

通过调用的Lora模型可以放在：ComfyUI/models/Loras/文件夹内

sigclip_vision模型放在：ComfyUI/models/clip_vision/文件夹内

模型讲解演示

我们通过测试Flux模型内嵌的和引用Lora的形式进行对比测试如下：

Deth：左边上传的是参考图，对比Deth，在右侧的两个图中，上面是通过Flux模型内嵌的方式得到的图像，下面是通过引用Lora的方式生成得到的图像。

这是连接Deth模型节点：

在这里插入图片描述

这是选择Deth的内嵌模型(上)和Lora模型(下)：

在这里插入图片描述

对比之下，上面的图像细节，对比更加好一些，下面的图还有一些瑕疵，以及房子的细节和地面的细节都没有上图的好。

在这里插入图片描述

Canny：这里同理，左边还是上传城市这张图，通过canny预处理生成

这里需要将这个节点切换成canny的连接点

在这里插入图片描述

这是选择canny的内嵌模型(上)和Lora模型(下)
在这里插入图片描述

同理，上面的图还是用内嵌的Flux canny模型，下面的图调用的是Lora，整体看，虽然两个都很好了，但是上面的是要好那么一点点的，细节也会好一点，出图也会更加清晰。
在这里插入图片描述

最后一点说明：deth和canny两个内嵌的模型，有一个节点FluxGuidance,参数需要单独调整，这个如果是deth,数值设置为10左右就ok，如果是canny,数值设置为30左右就ok。
在这里插入图片描述

Fill：这个模型有两个功能：一是扩图，二是局部重绘。

Fill模型也是内嵌在Flux大模型中，在工作流中使用的时候，选择对应的Fill大模型，然后上传图像。(工作流在文末自取~)

在这里插入图片描述

扩图演示：

在这里插入图片描述

局部重绘演示：我们还是用这个妹纸，我们通过在这个妹纸的眼睛处进行涂抹，关键词输入：眼镜，就可以无缝给这个妹纸添加眼镜了。

在这里插入图片描述

Redux-风格迁移：这个模形同样的是嵌入在Flux大模型中的，在工作流中只要选择对应的Redux风格模型即可
在这里插入图片描述

在工作流中，有三种方法控制图像：一是可以选择迁移一张风格，二是也可以进行多张图风格的融合，三是可以加上提示词控制图像画面内容。(工作流文末自取~)

第一种方式

通过一张图控制，上传一张参考图，如梵高·星空，得到一张带有这参考图风格的图像：

在这里插入图片描述

第二种方式

多图控制：我们打开第二个图像节点，并且调整第一个图像节点权重为0.6，第二个图像节点权重为0.4

在这里插入图片描述

得到带有梵高风格的图像：

在这里插入图片描述

第三种方式

打开提示词控制节点，输入提示词：房子，然后前面两个步骤的图像权重调整为0.85和0.15

生成后得到一个带有梵高风格的新的图像：

在这里插入图片描述

工作流获取：

关于AI绘画技术储备

学好 AI绘画不论是就业还是做副业赚钱都不错，但要学会 AI绘画还是要有一个学习规划。最后大家分享一份全套的 AI绘画学习资料，给那些想学习 AI绘画的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

（全套教程文末领取哈）
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。