Flux.1 作为最强的文生图模型,本地应该如何最快,最轻量化的运行?

就在这几天,ControlNet 的作者张吕敏大大带着他的 flux1-dev-bnb-nf4 来了,而且已经升级了 V2 版本。

硬是把配置的底线干到了 6G 显存,而且对于 6G 或者 8G 的显存配置也是相当友好,相对于 Flux.1 的 fp8 版本而言,6G 显存可以加速 1.3 倍至 2.5 倍,8G 显存更是最高可以有 4 倍提速。

不过小伙伴们可能更关心的降低配置是否会对画质有影响,那么我们接下来就来实测一下吧!


如何使用我们稍后再说,先直接来对比下 nf4 和 fp8 的出图效果。

我们这里采样器统一使用 euler,步数 30 步,其它配置包括随机种子数和提示词也都一样。

提示词:vibrant glowing beach drink,in the style of a product hero shot in motion,dynamic,splash of color

左边是 nf4,右边是 fp8,后续也都是按照这个顺序,可以看到出图的效果差别不大,说不上哪个画质更强一些。

img

提示词:photo,happy alien girl,alien clothing,alien school,compound eyes,stefan kostic and david cronenberg,realistic,sharp focus,8 k high definition,intricate,chiaroscuro,elegant,perfect faces,symmetrical face,extremely detailed,hypnotic eyes,realistic,fantasy art,masterpiece zdzislaw beksinski,artgerm

从这两张图上来看的话,fp8 的细节上可能更丰富一些,nf4 的表现也依然很不错。

img

提示词:emo jester anime girl, in neo tokyo hong kong, kawaii decora rainbowcore, vhs monster high, glitchcore witchcore, barcodes checkered spiked hair, pixiv, a mage witch hacker hologram by penny patricia poppycock, pixabay contest winner, holography, irridescent, photoillustration, maximalist maximalism vaporwave, by gerhard munthe, 4 k resolution, nier : automata inspired, bravely default inspired, vibrant but dreary but upflifting red, black and white color scheme!!! ( ( space nebula background ) ) emo demonic horrorcore japanese yokai doll, low quality sharpened graphics, remastered chromatic aberration spiked korean bloodmoon sigil stars draincore, gothic demon hellfire hexed witchcore aesthetic, dark vhs gothic hearts, neon glyphs spiked with red maroon glitter breakcore art

这两张在效果上感觉区别也不大。

img

提示词:a beautiful woman,shot from side,style by Marc Chagall,(intricate details masterpiece best quality),Samsung Galaxy,Rembrandt lighting

再来个真实人像,nf4 表现依旧很棒。

img

然后再来看看我们最关心的生成手和文字上的功能是否有阉割。

提示词:filmic photo of a group of three women on a street downtown, they are holding their hands up the camera

生成手依旧还是很给力。

img

提示词:A future robot writes ’ Do one thing at a time,and do well.’ on the blackboard

生成文字也没问题。

img

篇幅问题,演示就到这里了。
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述
这份完整版的AI新手入门资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述
这个本来是张吕敏为了 Forge 开发的「有使用 Forge 的小伙伴也直接更新到最新版本进行体验」,不过 ComfyUI 作者也对该模型进行了适配,让我们可以在 ComfyUI 中也能进行使用。

首先需要把 ComfyUI 更新到最新版本,然后打开 ComfyUI 管理器通过 Git URL 进行安装。

插件地址:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

安装完成以后重启就可以了,如果运行途中有问题,检测下 ComfyUI 版本是否是最新版本,然后再检查下依赖包 bitsandbytes 的版本是否是最新版本。

工作流也很简单,只需要把基础文生图工作流的模型加载器,替换成 nf4 专属的模型加载器就可以了。

img

不过还是需要把采样器中 CFG 调成 1,工作流如下,工作流以及模型也会放在文末的网盘里。

img

总体来说,nf4 的出图效果还是很不错的,相比 fp8 来说并不差。

而且虽然 nf4 版 flux.1 模型对大显存而言提升比较小,但是不管是在出图速度以及占用内存上也都还是有提升的,以 4090 为例,生成一张 1024 * 1024 的图片至少有 4s 的速度提升,显存占用更是少了整整 5 个G。

至于 8G 显存是否真的有那么大的提升就看小伙伴们的测试啦。

不过 nf4 的模型对显卡的型号有限制,只能支持 N 卡 30 系以上版本的显卡。而且 forge 版本是可以限制当前占用显存的,ComfyUI 版本暂时还不支持这个功能,所以我们使用的时候最好是打开共享显存功能。

这里顺便也提下 forge 中关于 nf4 版本的使用说明,作者已经写的很详细了,这里就不重复写了,感兴趣的小伙伴直接去看吧:
这份完整版的SD插件已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!


最近比较火的低显存方案一个是 ControlNet 作者张吕敏的 nf4 模型,一个是 city96 制作的 gguf量化版本。

nf4 模型只有两个版本,V1 和 V2 版本,gguf 总共有 6 个版本,和 nf4 对应的 Q4 版本,Q4 也有两个版本,我们以最新版本为例。

接下来我们就来对比下 fp8 版本、nf4-v2 版本以及 Q4-1 版本的出图效果。

接下来的出图顺序统一是最左边是 Q4-1,中间是 fp8,最右边是 nf4-v2。

img

img

img

img

img

img

img

gguf 插件地址:

这份完整版的SD插件已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述
Q4 版本的显存占用大概 8G 左右。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值