lora训练

最新推荐文章于 2025-05-18 17:39:16 发布
最新推荐文章于 2025-05-18 17:39:16 发布
阅读量439 收藏
点赞数
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43266707/article/details/134178875
版权

Stable Diffusion 模型存放路径

.\stable-diffusion-webui\models\Stable-diffusion

Stable Diffusion 模型下载路径

https://www.liblib.ai/

VAE存放路径

.\stable-diffusion-webui\models\VAE

VAE下载网站

https://civitai.com/

放大算法存放路径

./stable-diffusion-webui/models/ESRGAN

放大算法下载网站

https://upscale.wiki/wiki/Model_Database

LORA训练工具kohya_ss安装–通过阿里云EAS部署服务
在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/a2b147715fc642288dd2b079f8c0350d.png在这里插入图片描述
在这里插入图片描述

创建OSS
在这里插入图片描述
创建buket
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

lora训练

source model设置source model设置

folders设置

在这里插入图片描述

parameters

Train batch size:一次性单次送入模型的图片数 （A 10，不能超过4）
save every N epochs
LR Scheduler学习率
在这里插入图片描述
Network Rank (Dimension)：学习的纬度
Network Alpha：创意
2 Network Alpha ≤ Network Rank (Dimension)
人脸推荐：128,64
在这里插入图片描述

Dataset Preparation

advanced
在这里插入图片描述

print training command：打印参数
start training：开始训练
在这里插入图片描述

图片打标签的方式

在这里插入图片描述

LoRA训练设置

将生成的lora模型放在 ./model/Lora文件夹下，选择合适的checkpoints
x，y轴值的初始值与选择的模型的初始值保持一致
在这里插入图片描述

在这里插入图片描述

Mary_258
关注
LibLibAI平台LoRA模型训练
super_mochi1
09-17 3081
lora模型训练
什么是LoRA模型？如何使用和训练LoRA模型？你想要的都在这！
热门推荐
阿道夫的博客
07-08 1万+
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。虽然使用成型的LoRA很方便，但通常我们在生图的，可能很难找到完全匹配的，此时就需要我们自己动手训练了，毕竟自己动手丰衣足食，几个步骤简单为大家讲解如何训练～AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。下面是我们生成出来的一组图。
AI图像风格模型Lora训练入门
ADASTRA303的博客
11-10 2626
Loss值可以辅助我们去看训练的模型的优劣程度，一个好的模型训练曲线应该要相对平缓的下降（Loss值最好下降的0.1附近），但我们也不能过分的以loss值大小为标准，而是应该以出图为标准。看了测试图，想必大家已经迫不及待的想去训练模型了，需要注意的是，我们的训练集在用底膜训练后，出图时可以展现成另一种画风，凭借这个特点大家可以创造出更多更好的模型。本次任务训练的轮次，默认每一轮会保存一个模型，所以可以理解为本次训练会保存不同批次的模型结果，可以在后续的测试中选择一个效果最好的模型作为最终结果。
【在线AI绘画平台】哩布AI 在线生成图片、训练Lora、上传AI生成图简易实测
进一寸有一寸的欢喜
11-27 1万+
在哩布AI试用 在线生成图片、训练Lora、上传AI生成图 https://www.liblib.ai/
Stable-DiffusionLoRA模型训练教程(新手篇)｜LoRA训练个人经验总结与复盘
wincyfu的博客
05-16 8819
在此之前，StableDiffusion只能通过使用Dreambooth的方法训练大模型，如果对大模型的效果不满意，那么就只能从头开始，重新训练，但是大模型的训练要求高，算力要求大，速度慢。每次训练的loss图都是独一无二的，loss曲线只是参考，重点要观察loss逐步降低的状态，loss越低，拟合度就会越高，过低也有可能会过拟合，需要找到合理值，可以通过loss值来选择几个训练好的lora模型进行xyz序列图测试，从而选择更好的Lora模型。下载完后，直接双击exe文件运行，就会出现此界面。
训练lora小模型
qq_45437316的博客
12-04 2088
准备对应lora风格的模型，比如你要训练动漫人物，就找一个二次元风格的大模型，当作底膜训练。右键 install.ps1，powershell打开，会自动安装需要的环境。国外sd大模型网站（科学）：https://civitai.com。国内sd大模型网站：https://www.liblib.art。准备30-100张图片，图片风格就是要训练的lora模型的风格。如果图片不够清晰，也可以使用sd的高清化模块，先2倍高清化图片。把处理好的图片放在train目录下。本文使用sd自带的打标签功能。
手把手教你训练自己的FLUX Lora，从此实现写真自由
2401_85688943的博客
01-15 974
最近有小伙伴问我，提供一张照片怎么实现生成自己想要的图片专门实现这个效果，仅需一张照片，不需要训练lora，就可以实现生成一致性的人物，上次的方案对于虚拟角色很好，但是生成的人物跟原人物脸部还是有点偏差，我估计是因为训练数据少了导致的。所以，今天专门写一篇简单易操作的教程，通过自己照片训练一个自己专属的FLUX模型，利用好FLUX的超强生图能力，从此想生成啥生成啥，实现写真自由好了，话不多说，先看效果哈，下面是用训练后的模型生成的图片，下面说一下具体操作步骤。
lora训练模型-lora-scripts-main.zip
08-13
标题中的“lora训练模型-lora-scripts-main.zip”指的是一个包含LoRA（Low-Rank Adaptation）训练模型的压缩文件。LoRA是一种针对预训练语言模型进行微调的技术，它通过引入低秩矩阵来适应特定任务，从而在不显著...
LoRA训练模型的脚本和指南应用代码
08-10
使用LoRA训练模型的脚本和指南代码。LoRA是一种用于训练大型语言模型的技术。以下是使用用法说明： 1. 你可以从git仓库 [kohya-ss/sd-scripts](https://github.com/kohya-ss/sd-scripts.git) 克隆这个LoRA训练脚本的...
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型
08-03
在这个场景中，`LoRA训练脚本`是基于`kohya-ss的训练器`来实现这一目标，专门针对`扩散模型`进行训练。 首先，让我们深入了解扩散模型。扩散模型是一种生成模型，它的基本思想是通过逐步添加噪声到数据中，然后再...
如何使用和训练LoRA模型？以及常见lora资源
08-09
AI绘画三要素，模型 + prompt + 和数据，你想找到的都搜集在这了，有帮助的话请点赞收藏！LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。用数据公式表达如下，其中 W0 是初始SD模型的参数（Weights)， BA 为低秩矩阵也就是LoRA模型的参数， W 代表被LORA模型影响后的最终SD模型参数。整个过程是一个简单
LoRa训练模型、技术应用
08-04
LoRa 训练模型技术应用 LoRa 训练模型是指通过收集和预处理 LoRa 数据，使用机器学习算法来训练模型，以便预测 LoRa 信号强度的技术。该技术可以广泛应用于各种领域，例如物联网、智能家居、智能城市等。 LoRa ...
使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码
08-10
关于使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码,其中包含了几个脚本和设置： 1. `setup_lambdalabs.py`脚本：用于设置大部分所需的配置，适用于使用lambdalabs平台的用户。你需要创建一个名为`...
AI绘画Stable DIffusion从lora应用到lora训练：看这一篇就够了
白帽阿叁的博客
04-01 3398
这里引入了一个概念，也叫做“微调”训练，那什么是微调训练呢，假设我们想训练一个图像模型来生成我们自己相似的图像。从头开始训练模型对大多数人来说将是非常昂贵和令人望而却步的。与其从头开始训练新模型，我们可以重用现有模型作为起点。我们可以采用像 Stable Diffusion v1.5（其其他DreamBooth模型也可以） 这样的模型，并在」更小的数据集**「（我们的图像）上对其进行训练，创建一个模型，该模型同时擅长生成真实图像的广泛任务和」** 生成我们相似图像的狭窄任务。
无需部署，即开即用AI绘画
weixin_45597589的博客
02-14 1012
无需部署，即开即用AI绘画
Stable Diffusion - 墨幽人造人 模型与 Tag 配置
AGI
07-05 7093
真正的首个可以称之为人造人的“墨幽”。完全真正对墨幽进行了跨世代的全面升级。
Baklib赋能企业知识资产AI化升级
最新发布
weixin_51374429的博客
05-18 1581
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
lora训练deepseek
02-24
### 使用 DeepSeek 进行 LoRA 训练 为了利用 DeepSeek 框架进行低秩适应（LoRA）训练，需先理解该框架支持本地运行的相关配置[^2]。具体实现过程中，可以借鉴其他平台上的 LoRA 实现方法并迁移至 DeepSeek 中。 #### 准备工作环境 确保已安装必要的依赖库以及访问 DeepSeek 的最新版本仓库来获取最新的功能和支持。对于 LoRA 特定的支持，可参照 Hugging Face 提供的状态前沿参数高效微调（PEFT）库中的更新说明[^4]。 #### 配置模型与数据集 定义所使用的预训练基础模型，并准备用于微调的数据集。此部分操作通常涉及加载 tokenizer 和 dataset，在 PyTorch 或 TensorFlow 环境下完成初始化设置。 ```python from transformers import AutoTokenizer, TFAutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') model = TFAutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) ``` #### 应用 LoRA 修改 引入 PEFT 库提供的工具函数以修改原始模型架构，使其能够执行低秩分解从而减少所需调整的参数量。这一步骤是使常规 Transformer 架构兼容于 LoRA 关键所在。 ```python import peft # 假设已经通过 pip 安装了peft包 lora_config = { "r": 8, "alpha": 16, } model = peft.get_peft_model(model, lora_config) ``` #### 开始训练过程 最后按照标准流程编写训练循环逻辑，包括但不限于定义优化器、损失函数等组件；同时注意保存最佳权重以便后续评估或部署使用。 ```python optimizer = tf.keras.optimizers.Adam(learning_rate=5e-5) def compute_loss(labels, logits): loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) return loss_fn(labels, logits) for epoch in range(num_epochs): for batch in training_dataset: with tf.GradientTape() as tape: outputs = model(batch['input_ids'], attention_mask=batch['attention_mask']) loss = compute_loss(batch['labels'], outputs.logits) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) print(f'Epoch {epoch} completed.') ``` 上述代码片段展示了如何集成 LoRA 技术到基于 DeepSeek 平台的工作流当中。值得注意的是实际编码时还需考虑更多细节如超参调节等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值