[ComfyUI]Flux 无损加速,30步出图仅需10秒!

前言

flux 刚出来的时候画个图是真的慢,经过社区一轮一轮的优化,现在 4090 不使用加速 Lora 的情况下,生成 30 步 1024 * 1024 的图片只需要 16 秒。

这两天社区又来给 flux 加速了,这个技术就是 TeaCache,一种免训练的缓存方法,可估计和利用跨时间步的模型输出之间的波动差异,从而加速推理。在不损失图像质量的前提下,可以在原来的基础上实现 1.4 到 2 倍的加速。

听雨试了下无损的参数配置基本只需要 10 秒就可以出图,如果可以接受损失一些质量,可以缩短到 8 秒出图。并且可以和 Lora 以及 ControlNet 一起使用。

好了,话不多说,我们直接开整!

上边的对于 TeaCache 的介绍,小伙伴们可能不是很理解,我们还是通俗一点再来简单介绍一下:

TeaCache 就好比一个聪明的“记事本”,它能够观察并记录下模型在不同时间点输出结果之间的变化情况。通过分析这些变化,TeaCache 可以预测出在某些时间点上,模型的输出结果可能与之前的结果非常相似,因此就可以直接使用之前的结果,而不需要再次进行复杂的计算。这样一来,模型在进行推理时就可以节省大量的计算资源和时间,从而提高整体的运行效率。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~在这里插入图片描述

大致的原理就是这样,和编程里的缓存很像,可以帮我们加速获取结果。

我们来看下具体的效果,这个是基础的 flux 工作流, 30 步 1024 * 1024 分辨率,可以看到采样器上耗时是 16 秒。

接下来我们加上 TeaCache 节点,可以看到生成的两张图完全一样,但是采样时间只需要 9 秒,差不多提速了一倍。

两张图片可以对比下,基本没有任何区别。

如果我们调大 TeaCache,这里把 TeaCache 节点中的「rel_l1_thresh」设置为 1,上边设置的是 0.4,出图速度可以达到惊人的 6 秒。

但是相应的也会丢失一些质量,左边的图可以看到是损失了一些精度的,看起来有些模糊,所以无损的话,我们设置 0.4 左右就可以了。

插件的安装也很简单,直接在 ComfyUI 管理器中搜索:ComfyUI-TeaCache,进行安装就可以了。

使用上也很简单,只需要链接在模型加载节点和采样器节点之间就可以了。

节点就一个,我们简单来讲下这些参数:

enable_teacache:是否开启缓存,关闭就相当于没有这个节点。

model_type:现在只有 flux,后续作者会支持混元以及 LTX-Video 视频模型。

rel_l1_thresh:这个参数值越大,生图速度越快,图片质量会下降,不同的模式和步数,rel_l1_thresh 的最优值都会有细微变化,可以在 0.4 左右调整。

steps:这个和采样节点里的步数保持一致即可。

基础的工作流讲完了,我们开头说它是支持 Lora 的,那我们还可以再加上字节的 8 步加速 Lora 模型,速度还可以继续提升,可以提升到 7 秒内,这速度相比于 flux 刚出来的时候,不知道快了多少倍了。

开源社区就是牛逼。

ControlNet 也是一样的操作,并且听雨也试过了,flux 的量化模型以及微调模型都是可以使用这个节点加速的哦!

而且 TeaCache 不仅可以加速 flux 这类生图大模型,还可以加速混元之类的视频大模型,雨露均沾,一起进入加速时代!

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

### ComfyUI Flux 组合概述 ComfyUI Flux 是一种基于黑森林实验室(Black Forest Labs)开发的 FLUX.1 模型与 ComfyUI 平台相结合的技术解决方案。该组合旨在为用户提供强大的像生成能力和高效的处理流程。 #### 版本说明 FLUX.1 提供三个不同版本: - **FLUX.1-pro**:最高级别的性能表现,支持最先进像生成功能以及顶级提示词解析能力。此版本通过官方 API 访问并提供企业级定制服务[^4]。 - **FLUX.1-dev**:从 FLUX.1-pro 中提取而来的开源版,具备相似质量和效率特性,适用于研究和技术探索场景。要注意的是,尽管其功能强大,但不允许用于商业用途。 - **FLUX.1-schnell**:针对本地开发和个人应用优化过的快速运行模式,在 Apache 2.0 协议下开放源码发布。相比其他两个版本而言,它拥有更快的速度和更低资源消耗特点。 对于大多数个人开发者来说,推荐使用 FLUX.1-dev 或者 FLUX.1-schnell 进行实验和发展工作。 ### 安装配置指南 为了安装和配置 ComfyUIFLUX.1 的集成环境,请按照如下操作执行: 下载所文件: ```bash wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar tar -xf FLUX.1-dev.tar -C /path/to/ComfyUI/models/ ``` 确保将解压后的 `flux1-dev.safetensors` 文件放置于指定路径 `/path/to/ComfyUI/models/unet/` 下以便后续调用[^2]。 另外还要获取额外的支持库来增强系统的兼容性和扩展性,比如 bitsandbytes 插件可以这样获得: ```bash git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git cd ComfyUI_bitsandbytes_NF4 pip install . ``` 完成上述步骤之后就可以启动应用程序了。 ### 使用实例展示 下面给出一段简单的 Python 脚本来演示如何利用 ComfyUI 结合 FLUX.1 实现基本的任务处理逻辑: ```python from comfyui import load_model, generate_image model_path = "/path/to/ComfyUI/models/unet/flux1-dev.safetensors" loaded_model = load_model(model_path) prompt_text = "A beautiful sunset over mountains." generated_img = generate_image(loaded_model, prompt=prompt_text) ``` 这段代码展示了加载预训练好的 FLUX.1 模型并通过给定的文字描述 (`prompt`) 来创建一张新的片的过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值