使用fluxgym轻松进行flux lora模型训练


flux lora模型训练

视频链接

还在准备中 …

资源

链接:https://pan.quark.cn/s/2b619b26b655

里面包含了

  • fluxgym整合包
  • 训练所需的模型文件
  • 图片素材(方便快速上手体验)
  • 图片裁剪工作流、lora效果XY表对比工作流

安装预启动

  • 下载资源并解压整合包(压缩解压工具推荐 7-zip ,下载地址 https://www.7-zip.org 开源的就是最好的🥰)

  • 将模型移动到models文件夹中,最后的目录结构如下

    ├─models|
            |
            ├─clip
            │      clip_l.safetensors
            │      t5xxl_fp16.safetensors
            ├─unet
            │      .gitkeep
            │      flux1-dev.sft
            └─vae
                    ae.sft
    

    如果之前已经下载过flux模型,可以参考 https://www.zwenooo.link/posts/published/windows-link/ 进行模型复用

  • 回到fluxgym的根目录下,点击start.bat启动程序(启动前需要关闭科学上网,如果没开请忽略)

  • 出现 http://127.0.0.1:7860/ 表示启动成功,点击进入fluxgym,界面如下:

    在这里插入图片描述

训练

Step 1. LoRA Info

  • The name of your LoRA

    • lora名字(只能英文)
    • 要求唯一
  • Trigger word/sentence

    • 触发词/或者句子

    • 如果是单个特征训练,直接固定写触发词就好了,或者加一些视角描述。比如我这里训练的图像是一只熊,另外我需要他带有特殊的标记那这里我就填

      zwen_bear, 我有尝试过这里的逗号加不加都可。特别是不带有描述的时候,可以直接写触发词。带有描述的时候可以尝试把触发词带入到自然描述语言中,比如:The frontal shot of the zwen_bear(zwen_bear的正面照)

    • 如果是复杂特征训练,触发词是需要带上逗号

### 使用 FluxLoRA 进行机器学习模型训练 #### 准备环境与工具 为了能够顺利地使用 FluxLoRA 来进行模型训练,首先需要准备好相应的开发环境。这通常意味着要安装 Python 及其必要的库文件,比如 PyTorch 或 TensorFlow 等深度学习框架。对于特定于 Flux 的情况,则需按照官方文档指导完成 Julia 编程语言及其依赖项的设置。 #### 加载预训练模型并应用LoRA微调 当准备就绪之后,可以从 Hugging Face Hub 下载预先训练好的基础模型作为起点[^2]。接着利用 LoRA 技术对该模型实施低秩适配(low-rank adaptation),即只更新部分参数而非整个网络结构中的所有权重值。这种方法不仅提高了效率而且减少了过拟合的风险。 ```python from peft import LoraConfig, get_peft_model import torch.nn as nn model = ... # Load your base model here. config = LoraConfig( r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.05, ) peft_model = get_peft_model(model, config) ``` #### 构建数据集用于训练过程 构建适合当前任务的数据集至关重要。如果目标是创建像“黑神话悟空”这样的角色图像生成器,则应收集大量与此主题相关的高质量图片样本,并将其整理成可用于训练的形式。这些数据应当被划分为训练集、验证集以及测试集三大部分以便后续评估模型性能[^3]。 #### 开始训练流程 一旦上述准备工作全部完成后就可以启动实际的训练环节了。此阶段涉及到定义损失函数(loss function)、优化算法(optimizer algorithm)以及其他超参的选择。值得注意的是,在每次迭代过程中都要保存好最佳版本的模型副本至指定路径下以供将来部署或进一步改进之用[^1]。 ```python output_dir = "./ai-toolkit/output" for epoch in range(num_epochs): ... if best_loss > current_loss: best_loss = current_loss checkpoint_path = f"{output_dir}/best_model.pth" torch.save(peft_model.state_dict(), checkpoint_path) ```
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值