【Comfyui】2分钟搞定 SVDQuant Flux Lora 转换,实现 Flux 量化Lora自由

Nunchaku 的4位量化发布极大的友好于Flux生态的使用,使低显存用户也能享受到满血蛮的Flux出图质量,而且速度极快,同时对于Flux的生态支持也很好,像 lora、fill等模型也全部支持;但是官方发布的量化lora有限,遇到喜欢的lora我们应该如何结合Flux量化模型使用,官方也给出了转换的方法,作者自己也试了下,十分简单,分享记录下作者的实操过程。

选择想要的lora

===

选择一款喜欢的lora,选择的是一款让物体爆裂效果的lora;

官网效果如图:

下载后放入本地;

新建一个文件夹 nunchaku_loras用于存放量化后的lora

然后再终端执行命令



E:\ComfyUI_windows_portable_nvidia\python_embeded\python.exe -m nunchaku.lora.flux.convert –quant-path F:\comfyui-portable-nfc1.1-windows\ComfyUI\models\diffusion_models\mit-han-lab\svdq-int4-flux.1-dev\transformer_blocks.safetensors –lora-path .\flux_lora_v1_boom.safetensors –output-root ./nunchaku_loras –lora-name svdq-int4-flux-boom


  



参数解释:

quant-path : 你lora需要使用的主模型的存放地址,`      `这里我们是要用于 svdq-int4-flux.1-dev 模型``   ``lora-path : 你需要转换的lora地址``   ``output-root:转换后的存放地址``   ``lora-name: 转换后的lora的名字

直接执行此命令即可,执行速度还蛮快的;

出现这个说明执行完成了

执行完成后;在之前的 output-root 目录会出转换后的lora就说明转换完成了

使用对比

===

我们将转换前的原始lora和转换后的做一下对比

转换前的虽然能够正常生成图像,但是lora的效果无法体现出来

使用转换后的 lora 效果就出来了 如下:

===

总结

===

以上就是Flux lora 量化的全过程了,快去使用自己喜欢的Lora吧!

注意:在使用lora后,如果不在使用lora需要手动点击

这两个图标将lora释放,不然会一直生效;这个bug官方已在修复中了;

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
### 使用 FluxLoRA 进行机器学习模型训练 #### 准备环境与工具 为了能够顺利地使用 FluxLoRA 来进行模型训练,首先需要准备好相应的开发环境。这通常意味着要安装 Python 及其必要的库文件,比如 PyTorch 或 TensorFlow 等深度学习框架。对于特定于 Flux 的情况,则需按照官方文档指导完成 Julia 编程语言及其依赖项的设置。 #### 加载预训练模型并应用LoRA微调 当准备就绪之后,可以从 Hugging Face Hub 下载预先训练好的基础模型作为起点[^2]。接着利用 LoRA 技术对该模型实施低秩适配(low-rank adaptation),即只更新部分参数而非整个网络结构中的所有权重值。这种方法不仅提高了效率而且减少了过拟合的风险。 ```python from peft import LoraConfig, get_peft_model import torch.nn as nn model = ... # Load your base model here. config = LoraConfig( r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.05, ) peft_model = get_peft_model(model, config) ``` #### 构建数据集用于训练过程 构建适合当前任务的数据集至关重要。如果目标是创建像“黑神话悟空”这样的角色图像生成器,则应收集大量与此主题相关的高质量图片样本,并将其整理成可用于训练的形式。这些数据应当被划分为训练集、验证集以及测试集三大部分以便后续评估模型性能[^3]。 #### 开始训练流程 一旦上述准备工作全部完成后就可以启动实际的训练环节了。此阶段涉及到定义损失函数(loss function)、优化算法(optimizer algorithm)以及其他超参的选择。值得注意的是,在每次迭代过程中都要保存好最佳版本的模型副本至指定路径下以供将来部署或进一步改进之用[^1]。 ```python output_dir = "./ai-toolkit/output" for epoch in range(num_epochs): ... if best_loss > current_loss: best_loss = current_loss checkpoint_path = f"{output_dir}/best_model.pth" torch.save(peft_model.state_dict(), checkpoint_path) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值