Flux Canny直接使用模型和使用lora,实际效果测试(附工作流下载)

Flux官方之前公布了flux tools,其中就包含了根据图像边缘来生成图像的 canny,而这个工具又有 两种使用方式,分别是直接使用大模型,还有一种是flux dev搭配canny lora来使用,那么两种方式实际效果差别有多大?我们就来测试下。

首先我们搭建一个测试工作流:

工作流比较简单,大家可以自行搭建,当然,也可以直接下载:

工作流下载:https://pan.quark.cn/s/886d9c7cdcc7

接下来我们就通过多组图片来测试下。

以下图片左侧是直接使用canny大模型,右侧是flux dev + canny lora的效果。

第一组:

第二组:

第三组:

### 配置与使用多个ControlNet进行工作流处理 在FLUX模型中支持多种类型的ControlNet模块,这些模块可以被组合起来用于增强图像生成效果。当涉及到配置并使用多个ControlNet时,主要通过定义不同ControlNet的功能角色来完成特定的任务需求。 对于想要利用`Flux ControlNet Depth`以及其他类型的ControlNets构建一个多ControlNet的工作流来说,可以通过设置参数指定各个ControlNet的作用范围及其权重[^2]。具体操作如下: #### 定义多ControlNet架构 首先,在初始化阶段就要明确哪些ControlNet会被加载到网络结构之中。这通常是在创建实例的时候完成的,比如下面这段Python代码展示了如何同时引入两个不同的ControlNet——一个是负责深度感知(`Depth`),另一个可能是边缘检测(`Canny Edge Detection`)。 ```python from flux_model import FluxModel, ControlNetWrapper depth_controlnet = ControlNetWrapper('controlnet_depth') edge_detection_controlnet = ControlNetWrapper('controlnet_canny') model = FluxModel(control_nets=[depth_controlnet, edge_detection_controlnet]) ``` 这里假设`FluxModel`类接受一个名为`control_nets`的列表作为输入之一,该列表包含了所有要使用的ControlNet对象。 #### 调整各ControlNet的影响程度 接着就是调整每一个ControlNet在整个合成过程中的影响力大小。这种调节通常是通过对每个ControlNet分配相应的比例因子实现的;也就是说,可以让某些ControlNet对最终输出有更大的贡献度而让其他的相对次要一些。这部分逻辑可能体现在训练过程中动态改变或是静态设定好固定的比例关系。 ```python # 假设set_weight方法用来给定某个ControlNet的重要性系数 depth_controlnet.set_weight(0.7) # 更重视深度信息 edge_detection_controlnet.set_weight(0.3) # 边缘特征辅助作用 ``` 上述例子表明了给予深度控制网更高的优先级(即更大影响),而在一定程度上也保留了一些来自边缘检测的信息以帮助改善细节表现。 #### 执行带有多个ControlNet的工作流 最后一步则是执行这个已经配置好的含有多个ControlNet的工作流。一旦所有的准备工作都完成了之后,只需要调用相应的方法即可启动整个流程,并获得预期的结果图片或其他形式的数据输出。 ```python output_image = model.process(input_image) ``` 综上所述,就是在FLUX框架内实现多ControlNet协同工作的基本方式[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

聚梦小课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值