【FLUX教程】Flux官方重绘+扩图+风格参考+ControlNet,要一统江湖?(附工作流)

原本就很强的Flux,日前公布了一批官方工具,涵盖常用的绘图功能,使其媲美(甚至超过)闭源工具。

首先你需要已在ComfyUI中安装最新版本的Flux,

下面逐项列出在ComfyUI中使用的方法和模型/工作流的下载路径。


一、Flux重绘(Fill Inpainting)

下载Flux重绘工作流:

解压后,将扩展名为json的文件拖到ComfyUI界面,就得到下面的工作流:

用这张图进行测试:

在ComfyUI的Load Image窗口中,右键点击图像,选择“Open in MaskEditor”,然后在要修改的部分涂抹:

完成后点击“Save to node”保存:

之后填写关键词,把人物换成金发碧眼的泳装女郎,开始生成:

再比如把这个女生拿的大刀,重绘成大锤:

或是在天空添加一艘飞船:


**
二、Flux扩图(Fill Outpainting)**

用到的模型和上面一样,也是flux1-fill-dev.safetensors。工作流从这里下载:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Outpaint.zip

操作和重绘差不多,唯一需要注意的是“Pad Image for Outpainting”窗口,这里控制扩图范围,比如下图是左边扩展400像素,右边扩展400像素:

官方扩图工具的效果相当好,下面看几个测试结果:

将背景的沙滩延伸

扩展后汽车内部装饰基本符合逻辑

二次元扩图表现也不错

真人电影剧照,加入提示词“后方摆放摩托车”

提示词中加入“床上坐着穿西装的男人”,难辨真伪


**
三、Flux风格参考(Redux)**

下载sigclip_vision_patch14_384.safetensors模型:

将该模型放在ComfyUI/models/clip_vision/文件夹。

下载flux1-redux-dev.safetensors模型:

将该模型放在ComfyUI/models/style_models/文件夹。

下载Flux风格参考工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Redux-Basic-Workflow.zip

风格参考主要作用是在当前图像基础上,生成相似的变体,比如下面的例子:

另外,风格参考还可以同时引入多幅图像。

多图工作流下载页面:

多图可以产生一些有趣的效果,比如让女孩背上大刀:

让两个角色的特征产生融合:

真人变成二次元,放在动漫背景里:


**
四、Flux ControlNet**

ControlNet是AI绘画不可缺少的模型,这次Flux推出了自有版本,包括Canny(边缘检测)和Depth(深度控制)。

Canny下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev/tree/main

Canny LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora/tree/main

Depth下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev/tree/main

Depth LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora/tree/main

注意,LoRA版本是从完整版中提取,容量更小,效率更高,效果需要自行对比体会。

Canny工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Canny-Basic-Workflow.zip

Depth工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Depth-Basic-Workflow.zip

简单看一下效果,Canny可以较好的保留原图的整体结构,并做出修改:

Depth则更适合用来控制图像中的景深效果:


总的来看,Flux这批官方工具包的效果出色,如果你是AIGC爱好者,必不可错过!
请添加图片描述

### 配置与使用多个ControlNet进行工作流处理 在FLUX模型中支持多种类型的ControlNet模块,这些模块可以被组合起来用于增强像生成的效果。当涉及到配置并使用多个ControlNet时,主要通过定义不同ControlNet的功能角色来完成特定的任务需求。 对于想要利用`Flux ControlNet Depth`以及其他类型的ControlNets构建一个多ControlNet工作流来说,可以通过设置参数指定各个ControlNet的作用范围及其权[^2]。具体操作如下: #### 定义多ControlNet架构 首先,在初始化阶段就要明确哪些ControlNet会被加载到网络结构之中。这通常是在创建实例的时候完成的,比如下面这段Python代码展示了如何同时引入两个不同的ControlNet——一个是负责深度感知(`Depth`),另一个可能是边缘检测(`Canny Edge Detection`)。 ```python from flux_model import FluxModel, ControlNetWrapper depth_controlnet = ControlNetWrapper('controlnet_depth') edge_detection_controlnet = ControlNetWrapper('controlnet_canny') model = FluxModel(control_nets=[depth_controlnet, edge_detection_controlnet]) ``` 这里假设`FluxModel`类接受一个名为`control_nets`的列表作为输入之一,该列表包含了所有要使用的ControlNet对象。 #### 调整各ControlNet的影响程度 接着就是调整每一个ControlNet在整个合成过程中的影响力大小。这种调节通常是通过对每个ControlNet分配相应的比例因子实现的;也就是说,可以让某些ControlNet对最终输出有更大的贡献度而让其他的相对次要一些。这部分逻辑可能体现在训练过程中动态改变或是静态设定好固定的比例关系。 ```python # 假设set_weight方法用来给定某个ControlNet要性系数 depth_controlnet.set_weight(0.7) # 更视深度信息 edge_detection_controlnet.set_weight(0.3) # 边缘特征辅助作用 ``` 上述例子表明了给予深度控制网更高的优先级(即更大影响),而在一定程度上也保留了一些来自边缘检测的信息以帮助改善细节表现。 #### 执行带有多个ControlNet工作流 最后一步则是执行这个已经配置好的含有多个ControlNet工作流。一旦所有的准备工作都完成了之后,只需要调用相应的方法即可启动整个流程,并获得预期的结果片或其他形式的数据输出。 ```python output_image = model.process(input_image) ``` 综上所述,就是在FLUX框架内实现多ControlNet协同工作的基本方式[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值