Lora模型训练

最新推荐文章于 2024-08-16 20:23:22 发布
最新推荐文章于 2024-08-16 20:23:22 发布
阅读量1.3k 收藏 9
点赞数 10
分类专栏： AI 人工智能 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq873113580/article/details/136184237
版权
本文指导如何将高清图片转换为PNG格式，使用StableDiffusion处理成512X512尺寸，并添加标签。随后，这些文件用于秋叶Lora训练工具，通过多次训练，大约1000张图片需10小时完成，训练完成后可在output文件夹查看模型。
摘要由CSDN通过智能技术生成

准备要训练的图片，图片约高清越好，且自行转换成PNG的格式

用Stable Diffusion把原始图片处理成512X512的图片

 把处理好的图片打上标签

把处理好的图片和标签文件，放到秋叶lora训练工具的trian目录里面，文件夹30_aki前面的数字代表训练多次

选择基础大模型点训练

 出现这个就代表运行起来了

目前看1000张图，大概需要10小时左右训练完成，去output文件夹查看lora训练模型就行了

Teln_小凯
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Stable Diffusion教程|练丹师是如何炼丹的Lora模型训练
2401_85725028的博客
07-01 850
3 Lora模型，就是我们今天要学习的，文件后缀一般是.safetensors，（格式可以互转） 文件大小比embedding大比大模型小，几十MB~几百MB，训练相对容易，现在有了集成安装包就更简单了，硬件要求8G显存以上的卡就可以满足了。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。最好自己检查下每个txt文件，里面的标签是否准确，对不满意的prompt，自行手动修改即可。
60分钟速通LoRA模型训练！
kganamg的博客
01-15 556
Texual Inversional只微调了文本编辑器Dreambooth等手段微调文本编译器和噪声预测器两部分（噪声预测器微调难度更大，db的高配置要求就是为了同时微调其中的所有参数）训练的意义：让模型的“认知”发生改变，模型里以向量形式存储的像素分布规律发生改变，执行运算的时候，他们会被用来调节算法的运行逻辑从而输出不同的结果 ---> 模型权重在深度学习中，模型的权重·(Weights)是指神经网络中的参数，这些参数用于调整和学习模型的行为，以便能够对输入数据进行有效的映射和提取有用的特征。
Ai绘画工具Stable Diffusion，手把手教你训练你的专属Lora模型，神级教程建议收藏！
A13531922961的博客
06-03 994
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。训练Lora，需要先确定基础模型，是写实类的，还是二次元类的，今天的示例我训练的是偏二次元的，那么就选择一个二次元的基础模型即可。
2024秋叶大佬Lora模型训练一键包安装方法图文教程
Yu91an的博客
06-27 1549
LoRA模型是一种“聪明”的方法，用来微调（也就是“调教”）现有的大型AI绘图模型，让它们更适合我们特定的需求。
调教LLaMA类模型没那么难，LoRA将模型微调缩减到几小时
weixin_40920183的博客
05-28 680
来源：机器之心作者：Sebastian RaschkaLoRA 微调方法，随着大模型的出现而走红。最近几个月，ChatGPT 等一系列大语言模型（LLM）相继出现，随之而来的是算力紧缺日益严重。虽然人人都想打造专属于自己的大模型，但是能负担得起上亿参数模型训练的机构却寥寥无几。在快速发展的人工智能领域，以高效和有效的方式使用大型语言模型正变得越来越重要。LoRA（Low-Rank Adaption...
lora人物训练
AI生成式技术曾小健
06-01 2210
准备好训练的图片，尺寸根据你显卡显存的大小，默认的图片尺寸大小为512×512，显卡显存小于8G的，建议使默认尺寸，如果你的显卡显存可以满足12g或12g以上，推荐使用768×768的图片来训练我们的模型,用大尺寸训练后的模型可以适当减少生成宽图出现的肢体叠加等效果，下面开始准备我们的图片吧。
AI绘画：Lora模型训练完整流程！
A2421417624的博客
03-30 1869
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
lora训练模型-lora-scripts-main.zip
08-13
标题中的“lora训练模型-lora-scripts-main.zip”指的是一个包含LoRA（Low-Rank Adaptation）训练模型的压缩文件。LoRA是一种针对预训练语言模型进行微调的技术，它通过引入低秩矩阵来适应特定任务，从而在不显著...
AI绘画高效SDXL lora模型训练 - 我训练了一个京剧形象.mp4
08-16
【AI绘画】高效SDXL lora模型训练 _ 我训练了一个京剧形象.mp4
Lora模型训练-koya SS GUi
weixin_44936080的博客
06-06 1520
模型训练是一个时间长且复杂的过程,需要不断地投入到时间/经历/设备成本,还需要训练师的耐心.一旦能到 1.0 版本之后,就可以慢慢进行调试才能出结果.
模型全参数训练和LoRA微调所需显存的分析
热门推荐
herosunly的博客
05-05 9万+
本文介绍模型全参数训练和LoRA微调所需显存的分析，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 全参数训练 3. LoRA微调
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
模型训练时间的估算
xmxoxo的专栏
08-26 1万+
模型训练时间的估算 昨天群里一个朋友训练一个BERT句子对模型，使用的是CPU来进行训练，由于代码是BERT官方代码，并没有显示训练需要的总时间，所以训练的时候只能等待。他截图发了基本的信息，想知道训练完整个模型需要多久。 最开始跑BERT模型的时候，我也碰到这个问题，当时没有深入研究， 不过后来换成keras，bert4keras等框架，可以直接输出时间，比较直观了。 这次回过头来重新理一理，也算自己温故知新。 话不多说，截图如下： 先整理一下截图中已知的量： global_step/sec = 0.20
速成pytorch学习——11天. 使用GPU训练模型
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
09-20 1128
深度学习的训练过程常常非常耗时，一个模型训练几个小时是家常便饭，训练几天也是常有的事情，有时候甚至要训练几十天。 训练过程的耗时主要来自于两个部分，一部分来自数据准备，另一部分来自参数迭代。 当数据准备过程还是模型训练时间的主要瓶颈时，我们可以使用更多进程来准备数据。 当参数迭代过程成为训练时间的主要瓶颈时，我们通常的方法是应用GPU来进行加速。 Pytorch中使用GPU加速模型非常简单，只要将模型和数据移动到GPU上。核心代码只有以下几行。 # 定义模型 ... device =
[深度学习]lora模型训练总结
FL1623863129的博客
06-13 1697
经过测试发现，在训练第1个epoch生成最真实而且情况也符合自己预期，但是在后续epoch里面生成情况越来越差，导致生成图像已经不符合实际要求。此外经过测试发现vega ai这个网址生成模型要比我自己训练的模型更好，而且他这个只训练15分钟，不知道什么原因。可能网站训练参数比默认要好吧。1、lora训练不是训练越多越好，有可能存在过拟合情况，以下是20张绝缘子训练的图片。
一文揭秘｜预训练一个72b模型需要多久？
最新发布
m0_59235945的博客
08-16 711
本文讲述评估和量化训练大规模语言模型，尤其是Qwen2-72B模型，所需的时间、资源和计算能力。背景让我们想象一个场景，假如说某一天，上面哪个大老板突然拉着你进一个会议，会上一群人问你：假如给你一个千卡集群，让你训一个qwen/百灵/凤凰/chatglm/chatgpt出来，能不能搞？有什么困难？需要多久？此时肯定是结论先行：能训。此时此刻，非我莫属。但第二个问题怎么回答呢？需要一堆数据，需要多少T，需要多少人力？需要一个工程组来搞定千卡架构的问题，需要一些算法hc，招人嘛。
LoRA大模型加速微调和训练算法
dream_home8407的博客
03-29 5781
ChatGPT带领着大模型像雨后春笋一般层出不穷，大家都对大模型微调跃跃欲试，现在咱们聊聊其中的常见的算法。
huggingface lora模型 训练
09-17
PEFT 是 Hugging Face 的一个开源库，它可以帮助我们高效地将预训练语言模型适配到各种下游应用。使用 PEFT，我们可以为 LoRA 模型进行训练。下面是训练 LoRA 模型的步骤： 1. 首先，我们需要定义 LoRA 的配置（LoraConfig）。配置包括一些参数，如 r（LoRA 的卷积核大小）、lora_alpha（控制 LoRA 正则化的超参数）、target_modules（指定要应用 LoRA 的模块）等。 2. 然后，我们可以使用 PEFT 提供的函数 prepare_model_for_int8_training(model) 来准备模型进行 int-8 训练。 3. 接下来，我们可以使用 get_peft_model(model, lora_config) 函数为模型添加 LoRA 适配器。这将根据配置参数对模型进行修改，并为其添加 LoRA 相关的层。 4. 最后，可以使用 model.print_trainable_parameters() 打印出模型的可训练参数数量、总参数数量和可训练参数所占比例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值