别担心,我FLUX可是无敌的(AI进阶篇:FLUX 3-量化模型)

**(本篇文章内容适合硬件条件没那么好的小伙伴,提供优化版本的FLUX使用及安装教程)
**

之前的两篇笔记简单介绍了FLUX是什么以及在本地如何使用,不过有小伙伴可能发现,无论是ComfyUI还是ForgeUI都对显存的要求不低。

当然,不是说对显存要求不够就不能用FLUX了,今天这篇笔记将会介绍一个东西来降低FLUX在电脑上的使用门槛,这个东西叫做量化模型。

简单来说量化是一种以损失少量精度为前提对模型进行压缩的手段,这样就可以降低模型的计算量。

原版FLUX的模型精度是fp16,而ComfyUI的开发团队ComfyOrg针对FLUX开源的两款模型制作出了fp8的量化版本。

https://huggingface.co/Comfy-Org

这也很大程度上降低了FLUX对设备条件的要求。

放置文件的位置和之前的有些不同,如果是ComfyUI就放在这个路径:

ComfyUI(根目录)/models/checkpoints

如果是ForgeUI的话就放在这个路径:

**WebUI(根目录)/models/stable-diffusion
**

这个模型最大的特点在于可以使用ComfyUI自带的Checkpoint加载器进行加载,当然开发者们也提供了这个fp8版本的标准工作流,只不过这个工作流和之前提到的是一样的。

所以只需要去到这个网址将想要的工作流对应的图片拖拽进ComfyUI即可,这里我演示选择的是FP8版本的Flux Dev工作流:

这就是一个标准的文生图流程,操作也很简单,在最左侧的Load Checkpoint这里加载好fp8模型。

然后在文本编码器中输入任意提示词,也可以抄我下面这段:

1girl,wearing sexy maid dress, good hand,4k, high-res, masterpiece, best quality, head:1.3, finely detailed skin, sharp focus, soft lighting, dynamic angle, medium breasts, holding a paper showing words “FLUX FP8”

然后就可以点击最右侧的Queue Prompt进行图片的生成了。

可能有小伙伴在生成图片的过程中遇到了这样一个问题:

这里目前有两个解决方式,一个先关掉整个ComfyUI,然后搜索命令提示符:

打开后输入这行代码:pip install safetensors --upgrade

然后按回车运行

之后再重启ComfyUI

另一个方法则是将下载的两个fp8模型都删除掉重新安装。

当然有些时候就很奇怪,可能fp8运行不了但是fp16能够运行,这一点我暂时也不是很清楚。

比起fp16模型,fp8模型的生成图片时间能节省约一半,并且能降低大概5-6GB的显存占用,还能节约大概7个G的存储空间,这一点对于一些硬件条件有限的小伙伴来说无疑是很好的一点。

因为fp8模型可以使用checkpoint模型加载器进行加载,所以这个可以很丝滑地结合到其他的工作流中,例如局部重绘。

这个连线看起来好像有点复杂其实不难,感兴趣的小伙伴可以看原教程视频的11:35秒处。

如果在经历了上述的优化手段之后电脑运行起来还是有点吃力的话,可以尝试一下第一篇笔记中推荐的线上平台,毕竟如果跑不动硬跑的话可能会对电脑造成一些损伤。

不只是在ComfyUI,ForgeUI中也可以进行调用并加载。

用法也很简单,直接在Checkpoint这里改为fp8模型即可。

出图的速度还是很快,但是由于计算精度下降了,理论上fp8的模型比起fp16的模型出图质量有所下降。

不过就这样肉眼看来好像没有很大区别,条件允许的话还是推荐fp16完整版本。

还有些小伙伴可能是显卡显存足够,但是内存不够,那可以使用ComfyOrg优化过的T5XXL文本编码器。

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

内存不够的话选择那个fp8版本,然后ComfyUI放置在这个路径:

ComfyUI(根目录)/models/clip

ForgeUI的话放在这个路径:

WebUI(根目录)/models/text_encoder

这个加载器可以帮助降低内存要求,从64G降低到32G,但是会略微影响语义的理解能力。

当然社区里还有其他用于降低设备要求或者优化的方法,例如张博士提供的NF4量化模型和特殊的GGUP格式模型等

https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981

https://github.com/city96/ComfyUI-GGUF

感兴趣的小伙伴可以根据链接自行下载体验。


今天的内容就到这里啦!

更新慢的其中一个原因是因为使用ComfyUI出图对我来说是一个解决报错的过程,总是时不时出现一些很怪的问题导致我得一直去翻社区找解决方法。

希望今天这篇笔记可以帮助到硬件条件没那么好的同学,下篇笔记就是FLUX最后一篇关于LoRA模型部分。

大伙下篇笔记见,拜了个拜!

写在最后

FLUX相关的模型、工作流以及全套的AI绘画学习资料已经给各位小伙伴打包好了,有需要的可以扫码自取,无偿分享。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

若有侵权,请联系删除

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值