损失函数运行出nan和inf，原因是学习率过大引起的

最新推荐文章于 2025-04-06 20:23:26 发布
最新推荐文章于 2025-04-06 20:23:26 发布
阅读量3.6k 收藏 1
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shitoucoming/article/details/104763178
版权

损失函数也是有可能导致输出nan，inf（由于梯度爆炸造成Loss爆炸引起）

原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。

人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 552
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
学习率太大(太小)时会发生什么？如何设置学习率？
CSDN 精品推荐
08-08 3766
在训练过程中，您可以通过实验和观察来确定最佳的学习率值或学习率策略，以获得更好的模型性能。过大的学习率可能导致模型在训练集上过度拟合，而过小的学习率可能导致模型收敛不足，无法达到最佳性能。通过在训练的前几个epoch内使用不同的学习率，观察损失函数值的变化，找到一个使得损失函数值迅速下降的学习率。设置学习率是深度学习中的一个重要任务，因为学习率的选择会直接影响模型的收敛速度和稳定性。可以使用网格搜索或随机搜索的方法，在一定的学习率范围内尝试不同的学习率值，并观察训练和验证集上的性能。
模型的学习率(learning rate)太高将使网络无法收敛!
migue_math
02-11 6645
博主在跑代码的时候，发现过大的Learning rate将导致模型无法收敛。 主要原因是过大的learning rate将导致模型的参数迅速震荡到有效范围之外.(注： 由于pytorch中已封装好的代码对模型参数的大小设置了一个界限，因此模型参数不会无限大) 这篇文章将要探讨一下不同learning rate的情况下，模型的收敛情况. lr = 0.1，模型收敛得很好。 lr = 0.6，在第...
线性回归学习率过大 损失函数爆炸
FrankDura的博客
09-27 3842
综述 机器学习的线性回归中学习率过大会发生损失函数爆炸。 前提 注意线性回归是一个凸优化问题，所以这是不很复杂的情况。 分析 一种情况是大家看到最多的，最后全部爆炸： 他的原理基本可以概述入下： 所以最后看上去是loss（cost）函数不断上升—爆炸： 但是学习率大不一定就是爆炸的结果，可能也只是导致了收敛速度慢，而不是一直爆炸: 这个里面第一次就跳过了，但是第二次跳回来后，步长没有那么长，依...
发生梯度消失, 梯度爆炸问题的原因，怎么解决?
最新发布
ncnfjdjjd的博客
04-06 1123
当输入很大或很小时，函数的导数（梯度）接近于 0输出趋于一个上限/下限，梯度变小。
动手学深度学习——学习率过大导致loss出现nan
qq_66573641的博客
03-07 603
b站看视频的时候李沐老师将学习率从0.001改成10，loss就出现了nan，老师的解释是说求导过程可能分母出现了0，但学习率lr压根不参与求导，只影响参数迭代的变化值，所以我简单更改了一下梯度更新代码。可以看出是参数迭代超出了计算机的计数范围，而不是梯度出现无穷值。
[神经网络] 关于学习率太大导致无法收敛的问题
vcvycy的专栏
03-11 1万+
import tensorflow as tf import random #训练函数y=2x-1,a/b分别要训练为2,-1 x=tf.placeholder(tf.float32,[1]) a=tf.Variable(tf.constant([1],dtype=tf.float32)) #b=tf.Variable(tf.constant([1],dtype=tf.float32)) y=...
损失函数出现nan的原因分析及对策
weixin_43080939的博客
05-09 7442
神经网络训练时出现NAN的原因及解决办法
matlab损失函数出现nan,警惕！损失Loss为Nan或者超级大的原因
weixin_39954487的博客
03-18 2716
前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另外，这种情况很容易在网络层数...
python神经网络训练损失率nan_神经网络训练时出现nan错误
weixin_39946500的博客
12-11 1689
现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结1.问题一;训练CNN的时候出现nanCNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的加速度计数值并打上特定的动作标签。在训练CNN网络时一共遇到两处坑，一...
训练神经网络出现nan
m0_61175448的博客
10-08 1508
在这里对这个问题做一个总结：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）_pytorch nan。其实不然，在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果，从而帮助我们的任务取得不错的精度，这些技巧是训练神经网络不可缺少的一环。fastai首席设计师。
PyTorch学习笔记-4.PyTorch损失优化
ruoqi23的博客
08-03 1616
4.PyTorch损失优化 4.1.权值初始化 4.1.1.梯度消失与爆炸 对于一个含有多层隐藏层的神经网络来说，当梯度消失发生时，接近于输出层的隐藏层由于其梯度相对正常，所以权值更新时也就相对正常，但是当越靠近输入层时，由于梯度消失现象，会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。这就导致在训练时，只等价于后面几层的浅层网络的学习。梯度爆炸与之相反。 例如下图的神经网络： 其中，，， 对求导得： 从上式可以看出，损失函数对求导是由多个求导累乘的结果，对于其中的每个求导，如果此部分小
深度学习笔记(五)：学习率过大过小对于网络训练有何影响以及如何解决
热门推荐
源的博客
01-31 6万+
文章目录1.学习率的作用2.学习率太大有何影响3.学习率太小有何影响4.如何进行学习率设置5.学习率缓减机制 1.学习率的作用 学习率 (learning rate),作为监督学习以及深度学习中重要的超参，它控制网络模型的学习进度,决定这网络能否成功或者需要多久成功找到全局最小值，从而得到全局最优解，也就是最优参数。换句话说学习率和stride(步长)性质差不多。 2.学习率太大有何影响 首先我们要认识到学习率过大，自然第一反应就是学习的速度或者说忽略了某些阶段直接学到了下一个阶段的东西，这对于计算机来说是
Keras自定义损失函数和度量显示inf解决方法
sherpahu的博客
08-23 1176
去掉自定义函数的axis=-1 def rmse(y_true, y_pred): return backend.sqrt(backend.mean(backend.square(y_pred - y_true))) model_lstm.compile(optimizer="adam", loss=rmse, metrics=[rmse])
学习速率过大过小的情况
weixin_33907511的博客
06-21 1208
转载于:https://www.cnblogs.com/tectal/p/11067119.html
深度学习训练模型损失Loss为NaN或者无穷大（INF）原因及解决办法
qq_47898999的博客
01-02 3119
Pytorch训练模型损失Loss为NaN或者无穷大（INF）原因及解决办法
【机器学习300问】10、学习率设置过大或过小对训练有何影响？
qq_39780701的博客
01-17 2494
在上一篇文章中，首次出现了学习率这个词，在这篇文章中我会详细介绍一下它是什么，到底对机器学习的训练有着怎样的影响。
Loss 为inf
weixin_40532625的博客
05-19 683
1.可能学习率太大 2.batch_size不要设置太大！
lora微调RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
03-22
### 关于Lora微调时出现的`RuntimeError` 在使用LoRA进行微调的过程中，如果遇到`RuntimeError: probability tensor contains either inf, nan or element < 0`这样的错误，通常是因为概率张量中的某些值超出了正常范围。这种问题可能是由多种原因引起的，包括数值不稳定性和模型配置不当。 #### 数值不稳定性分析 1. **混合精度训练的影响** 如果正在使用混合精度训练（例如FP16），可能会因为浮点数精度不足而导致数值溢出或下溢。这种情况可能导致生成的概率分布中出现无穷大(`inf`)、非数字(`nan`)或者负数(<0)的情况[^2]。为了缓解这一问题，可以尝试以下措施： - 使用更稳定的规范化技术，如RMSNorm替代LayerNorm。 - 增加梯度裁剪以防止梯度过大引发数值问题。 - 验证是否所有的权重都在合理的范围内运行，尤其是最后的线性层(lm_head)，其输出可能需要更高的精度处理。 2. **采样过程中的潜在风险** 当执行如下操作时： ```python next_tokens = torch.multinomial(probs, num_samples=1).squeeze(1) ``` 若`probs`中含有非法值（如`inf`, `nan` 或 `<0`），则会触发上述错误。因此，在调用`torch.multinomial`之前，应确保输入张量的有效性。可以通过添加检查逻辑来验证这一点： ```python assert not torch.isnan(probs).any(), "Probability tensor contains NaN values" assert (probs >= 0).all(), "Probability tensor contains negative values" probs = torch.clamp(probs, min=1e-9) # 防止零概率导致log运算失败 ``` 3. **调整采样策略** 若要完全规避此类问题，可以在`model.generate`函数中禁用随机采样功能，通过设置`do_sample=False`强制采用贪心解码(greedy decoding)[^1]。尽管这种方法牺牲了一定程度上的多样性，但在调试阶段非常有用。 #### LoRA配置优化建议 除了关注数值稳定性的改进外，还需要仔细审视LoRA本身的配置参数。以下是几个关键点： 1. **适当调节rank大小(r)** rank过大会增加计算复杂度；而太小又无法捕捉足够的特征信息。一般推荐初始值设定为8~16之间，并依据具体应用场景灵活调整[^3]。 2. **合理选择alpha因子(lora_alpha)** alpha控制着低秩近似的效果强度，默认情况下可取较大一些的值以便更好地逼近原始全连接层的行为模式。 3. **引入dropout机制(lora_dropout)** 添加适量噪声有助于增强泛化能力，但过高容易造成学习困难。常规做法是从较小的比例开始试验，逐步找到最佳平衡点。 4. **任务类型的指定(task_type)** 明确告知系统当前正在进行的是哪种类型的任务（如因果语言建模CAUSAL_LM）。这样能够帮助框架内部做出针对性更强的选择和安排。 #### ASPEN框架下的多任务管理方案 对于希望在同一硬件设备上同时开展多项LoRA微调工作的用户来说，ASPEN提供了一个高效的解决方案。该框架不仅显著降低了GPU显存占用率(-53%)，还提升了整体训练效率(+17%)以及缩短了平均等待时间(-24%/-12%)[^4]。借助其内置的任务调度器(Task Scheduler)，即使面对复杂的并发请求也能保持良好的运作状态。 --- ### 示例代码片段 下面给出一段经过改良后的生成流程实现方式作为参考： ```python import torch from peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM, AutoTokenizer # 加载基础模型与分词工具 base_model_name_or_path = "your_base_model_here" tokenizer = AutoTokenizer.from_pretrained(base_model_name_or_path) model = AutoModelForCausalLM.from_pretrained(base_model_name_or_path) # 定义并应用LoRA适配结构 config = LoraConfig( task_type="CAUSAL_LM", inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1 ) peft_model = get_peft_model(model, config) def safe_generate(prompt_text, max_length=50): inputs = tokenizer.encode_plus(prompt_text, return_tensors='pt') with torch.no_grad(): outputs = peft_model.generate(**inputs, max_new_tokens=max_length, do_sample=True, # 开启多样本抽取 top_k=50, # 控制候选词汇数量 temperature=0.7, # 平滑温度系数 pad_token_id=tokenizer.pad_token_id) generated_sequence = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"Generated Text:\n{generated_sequence}") try: prompt = "Once upon a time," safe_generate(prompt) except RuntimeError as e: print(e) finally: del model, peft_model torch.cuda.empty_cache() ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值