【AI绘画】FLUX模型,或许这几点你还未曾都了解,附常用模型下载包

大家好,我是写编程的木木。

当我们还在沉浸在惊叹和体验快手的Kolors模型之时,SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击,模型所绘制的画面质感、精细度的确让我们眼前一亮,之前发布的SD3开源模型给我们带来的些许失落感顿时烟消云散。因为FLUX的出现,填补了我们对SD3的些许失望。

接下来,我们借此文跟大家交流下这个近期备受追捧的开源绘画模型FLUX1.0。

模型介绍及下载存放

在我们使用FLUX开源模型之前,需要先将FLUX这个体系的相应生图模型相关的UNET、CLIP和VAE模块用到的模型做下载存放备用。这些我都已经打包好放在文末了,需要的小伙伴可以自取,无偿分享。

UNET

与我们之前文章中介绍的“模型体系生图所用的模块”中提到的三个模型模块一样,在FLUX的生图流程中,也需要调用到:UNET、CLIP和VAE这三个模块的模型。我们抛开只能通过API调用的Flux-pro版的不说,就跟大家聊聊本地部署的模型使用。

我们需要先下载好flux的主模型,这里我们主要介绍六种规格的模型供大家尝试,分别是:

● 满血版的flux1-dev.sft,23.8 GB(算力要求高,出图用时长)

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

● 快速出图版的flux1-schnell.sft,23.8 GB(4步即可出图,质感也只略逊色于满血版)

https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

● fp8版的flux1-dev-fp8.safetensors,11.9GB(对显存要求不那么高的,建议16G以上,出图相对满血版的更快)

https://huggingface.co/Kijai/flux-fp8/tree/main

● 在Kijai大佬的这个剪枝版的下载链接中,还能下载到flux1-schnell-fp8.safetensors,这个模型,也是官方推出的快速出图版的剪枝模型,也是11.9G。

上述四种模型下载后存放在ComfyUI目录下:

ComfyUI\models\unet\FLUX

在这里插入图片描述

● 此外还有Comfy Org版dev模型:

https://huggingface.co/Comfy-Org/flux1-dev/tree/main

● Comfy Org版schnell模型:

https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

其模型下载后,存放在ComfyUI\models\checkpoints目录中,被视为普通的基础模型来调用,它的模型里包含了clip和vae。

对于显存更小的(8G)同学,可以搜索“gguf”这个版本的FLUX模型,对显存算力的需求会更低一点,有兴趣的朋友可以自行尝试。

Flux-dev-gguf:https://huggingface.co/city96/FLUX.1-dev-gguf``GGUF节点存储库:https://github.com/city96/ComfyUI-GGUF

CLIP

将用于CLIP加载器所要调用的模型下载后存放在目录:

ComfyUI\models\clip

下载地址:

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

在这里插入图片描述

VAE

至于FLUX模型,其生态用到的VAE模型ae.sft: 335 MB,下载地址,在官方主模型下载链接中也提供了下载,下载后存放路径为:

ComfyUI\models\vae

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

在这里插入图片描述

FLUX工作流使用要点

FLUX模型,取消了反向提示词的输入,在搭建工作流的时候有需要用到也只需加一个空的文本编辑器节点就好。

此外,CFG值也默认都为1.0即可,如果用到了K采样节点搭建工作流时。

加载器的选择

在FLUX的工作流中使用满血版或半血版,区别在于模型的选择和CLIP加载器的选择,如果你的ComfyUI中没有相应的可选想或节点,那么大概率是你需要更新你的ComfyUI本体了。

半血版,则是将主模型改为fp8的,权重类型为fp8的,clip1也改为fp8的t5模型,出图快,效果不会逊色多少于满血版的。

满血版,则是将主模型改为dev的,权重类型为默认的,clip1改为fp16的t5模型。

在这里插入图片描述

引导值

这个引导值(guidance),大家可能不太注意,这个值对于画面画风是有影响的。也就是模型的艺术表现力方面,默认3.5即可;值越小则艺术感越强,用于风格非写实时用(参考值1.5~2);值越大,则细节越多,出现更锐化清晰些(参考值4.5)。大家在不同画风绘制的时候可以加以尝试,锁定种子值后,调整这个值,自行体验。

在这里插入图片描述

在这里插入图片描述

采样器与调度器的选择组合

这里我们借用一些博主测试后的体验小结,跟大家分享推荐使用五种采样器与调度器的搭配组合:

ipdmn+simple

uni_pc_bh2+simple

euler+beta

euler+simple

dpmpp+sgm_uniform

步数

对于出图的步数,我们也做过尝试与比对,更多的步数时间会更多但细节表现也会更好些。我们可以根据需要,适当提高。

常规模型如flux1-dev.sft和flux1-dev-fp8.safetensors的比对

在这里插入图片描述

对于快速出图模型flux1-schnell.sft,官方默认是4步,但不妨碍我们尝试更多步。

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

若有侵权,请联系删除

  • 8
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值