损失还很高但是模型不收敛了怎么办？

最新推荐文章于 2024-06-24 09:14:20 发布
最新推荐文章于 2024-06-24 09:14:20 发布
阅读量1.7w 收藏 20
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andylei777/article/details/72911189
版权

陷入局部最优?

  • sgd:调大学习率
  • 换用adam等优化方法
  • 递进学习->1000->10000->80000
  • 调小batch：（A.全部数据作为一个batch和 B.每个采样作为一个batch）一般用的时候，在非监督训练阶段，可以先用B方法创建初始模型，
    然后在监督训练阶段，选择小batch size进行初步训练，让模型跳出局部极值，之后用大的batch size让模型收敛，这样一般能达到比较好的效果
    来源： http://www.fx114.net/qa-10-166186.aspx
andylei777
关注
  • 2
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
神经网络模型、loss不收敛、不下降，loss=87.33，loss=0.6931，原因和解决办法
hemancute的博客
09-10 1万+
一、模型不收敛 主要有以下几个原因： 1、learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发生溢出，bp后所有的weight会变成NAN，然后从此之后weight就会一直保持NAN，于是loss...
训练网络的时候loss不收敛
u010451780的专栏
04-22 1361
https://blog.csdn.net/comway_Li/article/details/81878400 https://blog.csdn.net/jacke121/article/details/79874555?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPa...
loss不收敛可能的原因以及相应的解决方法
凝眸伏笔的博客
08-20 1万+
问题现场 最近使用tensorflow训练模型，通过tensorboard查看train auc、eval auc、 loss曲线走势。loss如下，这个跟曲线走势跟书本上的曲线走势，差异很大，看到这个loss，波动很大(曾经见过的loss值大约在0.0XX的一个数值上)，并且没有收敛的趋势，有点慌了，第一次面对这种情况，跟书上的知识还不一致，自己知识拓展也比较贫瘠，不知如何是好... 请教了组内的大神，给出了几点建议，我觉得非常有道理： tricks： 推荐数据的loss曲线没有太大的参考意义
【chatgpt】loss不能快速收敛怎么办
最新发布
Never Give Up
06-24 29
通过调整学习率、使用数据增强、改进模型结构、使用高级优化器和正则化技术，可以显著改善模型的收敛速度和性能。如果损失无法快速收敛，尝试这些策略并观察其对训练过程的影响，可以帮助找到更适合当前任务的设置。
【算法】深度学习模型损失值loss不收敛，曲线震荡发散怎么办？
YaoYee_21的博客
07-19 2506
可能的解决方法——加大 batch_size
关于loss不收敛的一些建议-loss问题汇总（不收敛、震荡、nan）
qq_42964728的博客
04-15 1万+
内容搬运自知乎：loss问题汇总（不收敛、震荡、nan） 之前训练网络时,会先编写学习率随训练epoch的增加而逐渐减低的函数,然后选取一个相对较大的学习率(一般从e-2量级开始),选取一个epoch能够接受的batchsize,如果loss稳定下降较快,则开始训练.从未体验过学习率和batchsize搭配之难. 最近新看了一篇论文ABCNN(有空再细讲),采用开源的tensorflow工程训练一下,效果很好,因工程需要,开始将其移植到pytorch框架下,移植完毕后,关于loss函数遇到不少问题,在此记录
sphereface loss不收敛分析
qq_33824968的博客
07-22 678
1：lr 从1e-2 ~ 1e-5 2：weight_decay = 1e-2 ~ 1e-4 没有作用 3：怕是sphereface出了问题，把最后一层的fc层，改成了原有的Linear，结果还是不好。最后改了loss （cross_entorpy）函数还是不对 4:考虑resnet101的预训练模型不对，发现确实是原有模型 5：考虑加载数据问题，将原来的初始大小由299改为了200 ...
梯度下降法中，loss值无法收敛
m0_52602368的博客
11-21 1431
新手小白在机器学习中用梯度下降法实现逻辑回归的时候，发现损失值loss一直将不下来，上下浮动，如下图所示： 后来尝试了很多改进方法都不对，我一直都在尝试更改学习模型的迭代次数，学习速率，但是忽略了数据集本身的问题，我采用的数据集特征较多且每个特征值下对应的数据值浮动较大，导致了梯度下降法实现过程中求解最优解的速度很慢。而且精度也不高，在做了数据归一化之后，损失值如下： 由于迭代次数较小，所以损失值的曲线弯的不明显，但很显然，在做了数据归一化之后，损失值收敛了。这也显示了数据归一化在数据处理中的重要性，下
总结一些loss不收敛的解决方法
print_lzp的博客
11-04 5988
总结一些loss不收敛的解决方法 经常遇到的两种情况： 1.loss一直在震荡， 2.loss下降一点后不再下降到理想水平，而验证集上的表现保持不变。 保持需要的batchsize不变。 查看是否有梯度回传。 查看数据是否有问题，如标签错乱，归一化等。 调节学习率，从大向小调，每次除以5或者10 如果学习率调好后，需要调节batchsize大小，如batchsize调大2倍，则将学习率对应调大，反之，学习率对应调小。 权重初始化方案（全零初始化、随机正态分布初始化和随机均匀分布初始化等） 正则化过度（当训
深度学习-人工神经网络网络
qq_36349372的博客
05-25 5833
神经元: 受生物学的启发，人工神经网络是生物神经网络的一种模拟和近似。它从结构、实现机理和功能上模拟生物神经网络，传统的生物神经元模型由树突、细胞核、细胞体、突触和神经末梢组成，如图所示。 如图下图所示，神经元的输入xi对应生物神经元的树突。输入xi向细胞体传播脉冲，相当于输入权值参数wi,通过细胞核对输入的数据和权值参数进行加权求和。传播细胞体的脉冲相当于人工神经元的激活函数，最终输出结果y作为下一一个神经元的输入。 上述是人工神经网络的最基本的处理单元---------神经元，由连接、求和节点和激活
神经网络不收敛的查缺补漏
WeisongZhao
08-21 1687
数据归一化 数据归一化包括三个内容：数据缩放的本质、区别，以及选择合适的缩放方法。缩放包括归一化和标准化，两者的本质都是一个线性变换，线性变换有很多良好的性质，这些性质决定了为什么对数据进行改变后竟然不会失效，反而还能提高数据的表现。例如线性变换不会改变数值的排序。 归一化和标准化的而区别，归一化是统一到一定的区间（由极值决定），而标准化和整体样本由很大关系。 什么时候使用归一化/标准化， 如果对...
解决交叉熵损失不收敛的问题
t20134297的博客
11-07 5115
最近在训练一个分类类网络的时候，发现损失不收敛，网络的各个部分没有问题，输入输出都是正常的情况，但就是网络的损失不收敛，最开始的交叉熵损失在6左右，一直到50个epoch以后，损失依然是5左右，map 和rank1都很扎心。 后来分析后发现，最后的分类网络送出来的各个值都太小了，使得经过softmax后的各个类别的概率差异不大，为了解决这个问题，在将分类网络送出的结果，在送入交叉熵损失函数之前，加一个temperature就可以了。 1.下面的代码是不收敛的一个伪代码，分类网络送出来以后，直接送入了交叉
训练模型中损失（loss）异常分析
github_38052581的博客
02-27 4万+
前言 训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段，loss有可能会出现大幅度震荡变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常loss值，如loss等于nan；los...
神经网络训练解决loss、validation loss(损失函数)波动或不收敛问题
weixin_43060600的博客
05-07 8494
神经网络训练解决loss、validation loss(损失函数)波动或不收敛问题
深度学习之解决模型不收敛的问题
qq_32571391的博客
01-25 2万+
利用VGG16预训练模型微调网络时,遇到了模型不收敛的问题.记录一下! 第一次训练时参数设置如下: batch_size = 64 lr = 0.00001 n_cls = 8 max_steps =30000 得到的训练集和验证集的loss  和  accuracy 结果如下:         从这四张图中可以明显地看到,模型没有收敛,而且模型的震荡很厉害,所以,...
损失函数震荡不收敛可能原因：tf.train.shuffle_batch
StayAl的博客
10-19 1万+
​ 在制作tfrecords数据集的时候，比如说将cifar数据转换成tfrecords数据集，一般会用到tf.train.shuffle_batch函数，而损失函数震荡不收敛的原因就可能就是数据集制作出现问题。 ​ Cifar-10数据集包含了airlane、automobile、bird、cat、deer、dog、frog、horse、ship、truck，10种分类...
警惕！损失Loss为Nan或者超级大的原因
热门推荐
lrt366的博客
07-28 5万+
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
训练时，验证集loss不下降收敛是什么原因？
06-11
如果在训练神经网络时，验证集的损失(loss)在不断地波动或停滞不前，而不是随着时间的推移而逐渐下降，这可能是由于以下原因之一： 1. 过拟合(Overfitting)：模型已经过拟合了训练数据，无法泛化到新数据。这可能是因为模型太复杂或者没有足够的训练数据。可以尝试增加正则化项或者增加训练数据来解决这个问题。 2. 学习率(Learning rate)过高或过低：如果学习率太高，模型可能会在局部最小值处震荡或者发散；如果学习率太低，模型可能会需要很长时间才能收敛。可以尝试调整学习率并重新训练模型。 3. 数据分布不均匀：如果训练集和验证集的数据分布不均匀，或者验证集中包含训练集中没有的异常数据，那么模型就可能无法在验证集上表现良好。可以尝试重新划分训练集和验证集或者增加数据样本来解决这个问题。 4. 损失函数不合适：如果使用的损失函数不适合当前的任务或者数据集，那么模型就可能无法在验证集上表现良好。可以尝试使用其他的损失函数，或者自定义损失函数来解决这个问题。 5. 模型架构不合适：如果使用的模型架构不适合当前的任务或者数据集，那么模型就可能无法在验证集上表现良好。可以尝试使用其他的模型架构，或者调整模型超参数来解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值