模型训练loss先迅速下降后一直上升

最新推荐文章于 2024-07-06 09:00:00 发布
最新推荐文章于 2024-07-06 09:00:00 发布
阅读量3.3w 收藏 34
点赞数 15
文章标签： 机器学习 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39422563/article/details/103578155
版权
在训练模型过程中，遇到loss函数走势不佳的情况，通过分析发现可能是陷入了局部最优解。将学习率从0.01调整到0.001后，问题得到了有效解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

loss函数走势如下：
训练loss
检查代码没什么问题，分析应该是陷入了局部最优，把学习率调低一点就好了，从0.01调到了0.001

模型训练代码解读：Loss functionOptimizerHyperparametersLearning
AI天才研究院
08-13 117
模型训练过程中涉及到各种各样的算法、方法、技巧，其中大部分都是需要对代码进行修改和调整才能实现效果，对于很多初级工程师来说，在处理这些繁琐的代码时，很容易被困惑，因此，本文将介绍一些机器学习中常用的代码，并通过阅读源代码的方式加深对模型训练过程中的基础知识理解，帮助读者更好的理解现实世界中的模型训练。首先，我们先来回顾一下模型训练过程。数据准备：包括数据清洗、特征工程、数据切割、标签编码等。模型选择或搭建：包括模型选择、超参数调优等。模型训练：包括损失函数、优化器、学习率衰减策略、正则化项等。
Loss和Reward分析和改善DQN的训练
qingmuluoyang的博客
06-26 1817
DQN; Loss; Reward
深度学习：根据 loss曲线，对模型调参
weixin_46969441的博客
11-01 1万+
深度学习模型调参笔记 train loss 下降，val loss下降，说明网络仍在学习； 奈斯，继续训练 train loss 下降，val loss上升，说明网络开始过拟合了；赶紧停止，然后数据增强、正则 train loss 不变，val loss不变，说明学习遇到瓶颈；调小学习率或批量数目 train loss 不变，val loss下降，说明数据集100%有问题；检查数据集标注有没有问题 train loss 上升，val loss上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问
2019.12.14
我的AI笔记
12-14 296
一、tensorflow 1.结果的可视化 莫烦大佬的代码如下： from __future__ import print_function import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def add_layer(inputs, in_size, out_size, activation...
深度学习 loss下降后上升在下降_Day203:学习率的设定
weixin_39519072的博客
12-04 1371
1、学习率目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以，初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式：α 就是学习率，如果学习率太小，会导致网络loss下降非常慢，如果学习率太大，那么参数更新的幅度就非常大，就会导致网络收敛到局部最优点，或不会收敛或者loss直接开始增加；如下图所示：学习率的选...
使用tensorflow训练tfrecord文件的时候，loss开始下降后来上升的原因
w_xiaomu的博客
06-02 7342
以下内容是本人在训练时候所遇到，并且解决的，如果还有没有涉及到的，希望可以交流： 1.刚开始下降，后来上升，可能是数据集的问题，假如数据集训练集的总大小是5000张图片，如果你写为6000或者只要不是5000张的，都可能会出现开始下降后来上升的问题。如果解决该问题的方法是，修改数据集的总大小等于你训练数据集的总大小。 2 可能是模型的问题：如何判断是模型的问题，首先你使用未修改(此处指的是比如re...
循环神经网络(一)
zhao_crystal的博客
03-06 2641
目录 1. Embedding与变长输入处理 1.1 Embedding 1.1.1 One-hot编码 1.1.2 Dense embedding 1.2 变长输入 1.2.1 Padding 1.2.2 cut 1.2.3 合并 1.3实战 1.3.1 载入数据集 1.3.2 载入数据集的词表 1.3.3对变长输入做处理 1.3.4 构建模型 1. Embedding与变长输入处理 1.1 Embedding 1.1.1 One-hot编码 Word——>..
深度学习 loss下降后上升在下降_深度学习中的双下降现象
weixin_39856709的博客
12-06 2112
编辑：zero关注 搜罗最好玩的计算机视觉论文和应用，AI算法与图像处理 微信公众号，获得第一手计算机视觉相关信息本文转载自：公众号：AI公园作者：Preetum Nakkiran，Gal Kaplun，Yamini Bansal，Tristan Yang，Boaz Barak，Ilya Sutskever编译：ronghuaiyang导读深度学习中的双下降现象，可能大家也遇到过，但是没有深究，O...
val_loss先下降后上升或不下降只上升
⛄
11-08 1万+
val_loss先下降后上升或不下降只上升
[交叉熵损失和accuracy关系] 验证集上val-loss先降低再增加，而val-accuracy一直在增加
热门推荐
小太阳~
01-09 3万+
在上一篇博文（[歌词生成] 基于LSTM语言模型和seq2seq序列模型：数据爬取、模型思想、网络搭建、歌词生成）中，seq2seq训练之后，我们发现其在训练集合验证集上loss和accuracy变化如下： 我们首先来回顾一下过拟合的基本表现： 训练集loss不断降低，但是测试集的loss开始不断增加。 再来看我们这个情况，看右边2个loss的图，在第15个epoch之前，训练集上的loss不断...
以DSSM为例说明深度学习模型训练中的若干问题
abcdefg90876的博客
11-27 953
来自于：机器学习AI算法工程（原文出处未找到）编辑：Thinkgamer本文主要用于记录DSSM模型学习期间遇到的问题及分析、处理经验。先统领性地提出深度学习模型训练过程的一般思路和要点...
深度学习 loss下降后上升在下降_深度学习的数学-梯度下降
weixin_39678103的博客
11-24 573
前言本篇主要讲解一个机器学习中很重要但又很基础的概念：梯度下降，经常用于寻找最小值，在近似公式和向量内积的基础上很容易理解正文需要解决的问题和思路首先，梯度下降是为了渐进的寻找最小值，根据书中的例子，如果我们知道了一个函数 z = x^2 + y^2 ，期望知道当 x 和 y 取什么值的时候，z 取值最小根据之前偏导数学到的概念，z 关于 x 的偏导数为0，z 关于 y 的偏导数为0，是函数取最小...
Mask RCNN开源模型训练loss下降分析
资源摘要信息: "开源mask rcnn分割模型训练loss下降图" 知识点: 1. Mask R-CNN模型概述: Mask R-CNN是一种深度学习模型，用于图像实例分割任务。它是由Facebook AI Research (FAIR)团队提出的一种扩展的 Faster R-...
如何从零开始训练大模型？
最新发布
python122_的博客
07-06 1166
根据scaling law，模型越大，高质量数据越多，效果越好。但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。例如，最新出的minicpm，微信内部评测效果也是非常棒的。跟规模相对接近的2b、7b模型比，得分比qwen2b高，和qwen7b比有的高有的低。这个是minicpm的详细技术文档。这说明，现有参数量情况下，哪怕是2B尺度，也并没有得到充分训练。
tensorflow,model,object_detection,训练loss先下降后递增，到几百万，解决tensorflow,model,object,detection,loss,incease...
weixin_30505485的博客
08-20 657
现象：训练loss一开始下降一部分，跌代到若干次（具体多少和你的learning rate大小有关，大就迭代小就发生，小就需要多几次迭代）日志如下（下面的日志来源于网络，我自己的日志已经clear掉了，不过不影响）： INFO:tensorflow:global step 272: loss = 0.2479 (0.158 sec/step) INFO:tensorflow:global st...
深度学习 loss下降后上升在下降_深度学习图解读书笔记——梯度下降学习法
weixin_39571219的博客
12-01 406
本文覆盖第4章和第5章，这两章的内容比较有连续性。第4章主要讲逐步降低误差的一个方法，俺觉得叫梯度下降学习法比较合适。第5章将这种方法应用到了多输入多输出的场景里，并介绍了一个来自真实世界的数据集——美国人口普查局的雇员和美国高中生手写的数字，并展示了MNIST分类神经网络对这些数据的预测，然后引出了权重可视化的概念。最直观的误差是：预测值-实际值比如算法预测的球队胜率是0.85(85%...
深度学习 loss下降后上升在下降_关于深度学习的优化器选择
weixin_39562185的博客
12-06 3378
优化器的种类有很多，概括起来常用的有五类：随机梯度下降(SGD, stochastic gradient descent)SGDM(加入了一阶动量)AdaGrad（加入了二阶动量）RMSPropAdam以下是我跑的五种优化器模型画出来的loss和acc曲线对比图loss和acc曲线对比图在lr=0.1，epoch=500的训练条件下，5种优化器都可以成功收敛。在训练时间方面，Rmsprop训练耗时...
深度学习 loss下降后上升在下降_解读“深度学习最新进展(2020)” Part 5
weixin_39854681的博客
12-06 1217
5. Science of Deep Learning and Interesting Directions第五部分，介绍的是深度学习理论研究方面的新进展和有趣的方向。首先是一篇MIT的ICLR 2019 Best Paper《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。The Lottery ...
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值