秋叶Lora训练器遇到NaN detected

最新推荐文章于 2024-06-12 09:20:37 发布
最新推荐文章于 2024-06-12 09:20:37 发布
阅读量4.1k 收藏 9
点赞数 8
文章标签： sdxl lora 秋叶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011573054/article/details/133939511
版权

一个很头疼的情况
根据我在网络上的搜索，排除了图片尺寸不到位（需要1024*1024）、arb没开等等情况。最后发现，是需要在保存格式上，不要选fp16，而是选择bf16.
在这里插入图片描述
在这里插入图片描述
然后就可以运行了！

在这里插入图片描述

Mahomet_
关注
【深度学习】【Lora训练3】StabelDiffusion，Lora训练过程，秋叶包，Linux，SDXL Lora训练
q742971636的博客
06-26 407
OK 现在你只需要使用kevinchina/deeplearning:pytorch2.3.0-cuda12.1-cudnn8-devel-xformers-lora-train即可训练lora或者sd中其他模块，环境已经齐全。为了便于使用，构建一个docker镜像来使用秋叶包。2024年6月26日。
【深度学习】【Lora训练1】StabelDiffusion，Lora训练过程，秋叶包，Linux，SDXL Lora训练
q742971636的博客
04-25 1637
专家模式，选择model为/ssd/xiedong/sdmodels/models/Stable-diffusion/sd_xl_base_1.0_0.9vae.safetensors。/ssd/xiedong/lora-scripts/yifei/ 已经是我标注好的数据，图片和对应的txt文件。根据您的CUDA版本，定制化安装PyTorch等关键包。训练后的lora文件在output中。
【pytorch】训练时爆 Nan 的排查方法
x66ccff
12-29 642
【pytorch】训练时爆 Nan 的排查方法。
使用单卡qlora混合精度训练大模型chatGLM2-6b，解决qlora loss变成nan的问题！
高颜值的杀生丸(此博客转载自我的博客园)
11-02 808
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatGLM2-6b 模型我已经从huggingface 下载到服务器，因为我的服务器不能直接连接hug...
Stable Diffusion的Lora模型训练中报错Couldn‘t open shared file mapping: ＜000001FE40821992＞, error code: ＜1455
2201_75603320的博客
02-22 338
1. 不要使用多线程处理。将 DataLoader 的 num_worker 设置为零。2. 改为 CPU 共享张量。确保您的自定义 DataSet 数据集返回CPU张量。就像在 CUDA 张量上进行。
训练SD的Lora模型出现的问题以及解决方法
m0_59805198的博客
12-21 6699
不管是用脚本还是丹炉什么的工具，训练过程中总是出现很多的问题，现目前对于跑通训练都是一件很费劲的事情，记录一下我在训练lora时候出现的问题。首先明确一下对于环境创建应该是没有问题的，青龙脚本创建显示了安装完毕的字眼/丹炉直接开启前自动安装好。首先大部分训练报错，然后最后说一个“returned non-zero exit status 1” Train finished，我最开始就以为是这个问题，到处问或者说搜这个报错怎么解决，但实际上这是只是一个报错说明，出现这个句子的报错情况很多很多，只是最后给你返回
kohya_ss训练lora报错:RuntimeError: Error(s) in loading state_dict for SdxlUNet2DConditionModel
qq_43103951的博客
11-21 823
报错截图:原因是因为基模是基于SD1.5训练的,但是在khoya_ss的UI界面勾选了SDXL model导致报错:取消勾选就行了。
raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format( RuntimeError: Error(s) in
haojie
12-01 4491
一个pytorch使用过程中的错误 加载预训练权重的过程中因为没使用VGG的其他的一些层的预训练权重，bias。产生了一个错误 我们只需要load_state_dict(fsd,strict=False) 即可 加一个strict=False这个参数 属性strict;当strict=True,要求预训练练权重层数的键值与新构建的模型中的权重层数名称完全吻合; 如果我们采用strict＝False就能够完美的解决这个问题。也即，与训练权重中与新构建网络中匹配层的键值就进行使用，没有的就默认初始化。 ..
lora训练模型-lora-scripts-main.zip
08-13
描述中提到的“LoRA训练脚本使用kohya-ss的训练器，用于扩散模型”暗示了这些脚本是基于kohya-ss开发的，这是一个可能的开源项目或者个人贡献者的工具，用于扩散模型的训练。扩散模型是一种机器学习模型，特别适用于...
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型
08-03
在这个场景中，`LoRA训练脚本`是基于`kohya-ss的训练器`来实现这一目标，专门针对`扩散模型`进行训练。 首先，让我们深入了解扩散模型。扩散模型是一种生成模型，它的基本思想是通过逐步添加噪声到数据中，然后再...
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型.zip
08-08
在这个压缩包中，我们关注的是如何利用kohya-ss的训练器来实现LoRA优化方法在扩散模型上的应用。 扩散模型是一种在机器学习，特别是自然语言处理领域广泛应用的模型，它通过逐步地“扩散”噪声来模拟数据的生成过程...
pytorch模型加载出现报错：raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format(RuntimeErr
最新发布
hibjt的博客
06-12 349
你换了模型跑，很可能就会出现这个问题，简单粗暴的解决办法就是重写save_checkpoint和load_checkpoint，也就是检查点重新放一个文件夹。
深度学习中训练时候遇到这些错误 RuntimeError、IndexError、ValueError如何解决
m0_63669388的博客
07-17 4902
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same CUDA error: device-side assert triggeredRuntimeError: Expected all tensors to be on the same device, The size of tensor a (5) must match the size of
OJ RuntimeError常见原因
热门推荐
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
03-29 4万+
RuntimeError常见出错的原因可能有以下几种： 1、数组开得太小了，导致访问到了不该访问的内存区域 ； 2、发生除零错误； 3、大数组定义在函数内,导致程序栈区耗尽； 4、指针用错了，导致访问到不该访问的内存区域； 5、还有可能是程序抛出了未接收的异常；
深度学习中nan和inf的解决
ytusdc的博客
02-12 4126
1、 nan 和inf产生原因 搭建神经网络后产生的，在训练早期，模型参数可能不是很合适，会出现梯度消失和爆炸的情况，特别是有lstm,rnn这类网络的情况。nan 是not a number ,inf是无穷大。比如求损失函数会用到log，如果输入接近0，那么结果就是inf。 2、解决方法 2.1 学习率要设置小一些 2.2使用带上限的激活函数，如tf.nn.relu6 也就是对输出做了限制 2.2 检查输入数据中是否有nan或inf x = tf.constant([5.0, 4.8, 6
pytorch预测运行出现 raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format( RuntimeError
qq_55433305的博客
03-10 2494
pytorch预测文件运行出现raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(RuntimeError: 解决办法改值重新训练或者修改完重新预测
模型训练 出现NaN的原因以及解决方法
码农研究僧的博客
12-05 5536
学习率过高： 过大的学习率可能导致权重更新过大，使得权重变得非常大或非常小，从而导致数值不稳定性。梯度爆炸： 当反向传播过程中的梯度变得非常大时，权重更新可能会导致数值不稳定。这通常与深度神经网络中的梯度消失/爆炸问题有关。数值不稳定的激活函数： 某些激活函数在输入值很大或很小的情况下可能产生数值不稳定性。例如，Sigmoid函数在输入值非常大或非常小时可能会返回饱和的输出，导致梯度接近于零。数据预处理问题： 数据中的异常值或不稳定性可能导致网络在处理这些值时出现数值问题。
loss=nan解决办法
Cheese_pop的博客
07-25 1万+
训练网络时出现loss=nan的情况，caffe不会报错，但是显然这样是不对的。 将solver.prototxt文件中的base_lr减小一点之后，这个问题就不再出现了。我一般先将base_lr降为原来的0.1倍，一般这样就可以了，如果实在不行的话就再降10倍。好像知道为什么这样就可以，learning rate到底是怎么影响整个网络的捏？
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function ‘BmmBackward0‘ returned nan values
qq_41682740的博客
08-12 1万+
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function 'BmmBackward0' returned nan values
没有cuda不能lora训练
11-26
没有CUDA，就不能进行LoRa训练。LoRa是一种低功耗广域网技术，需要在训练过程中使用CUDA（Compute Unified Device Architecture）来加速计算，提高训练效率。CUDA是由NVIDIA推出的并行计算平台和编程模型，可以利用GPU的强大并行处理能力来加速计算。对于LoRa技术来说，使用CUDA可以大大缩短训练时间，提高模型的精度和性能。因此，缺少CUDA支持的硬件设备将无法进行有效的LoRa训练。 此外，LoRa作为一种物联网技术，在实际应用场景中需要对大量数据进行处理和分析，以实现远程监测、智能控制等功能。而缺乏CUDA加速的LoRa训练将大大降低处理速度，导致无法及时响应数据，影响系统的实时性和可靠性。因此，对于LoRa技术的研究和应用来说，具备CUDA支持的硬件设备和环境是非常重要的。 总之，没有CUDA支持将使LoRa训练过程严重受阻，影响系统性能和应用效果。因此，对于从事LoRa技术相关工作的研究人员和工程师来说，需要重视CUDA的应用，并为其提供必要的硬件和软件支持。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值