提升精度或者训练损失不继续下降办法汇总，（进一步提升效果）

最新推荐文章于 2024-06-18 11:41:02 发布
最新推荐文章于 2024-06-18 11:41:02 发布
阅读量3.1k 收藏 3
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43167121/article/details/95199820
版权

1.找出总被分错的图片，如果真的是太难分辨，考虑删掉。或者用adaboost方法训练多个弱分类器

2.考虑多模型融合，最简单方法可以是不同时刻的训练结果融合，不过可能差距不大，好处是节省时间

3.降低学习率，如果是已经是衰减学习率了，可以考虑换种衰减方式

4.检查数据集有没有错误的样本，严重影响

5.首层网络可视化，看特征图区分度是否可以

6.改网络模型，改其他参数等等 待补充其他

weixin_43167121
关注
专栏目录
机器学习分类算法之LightGBM（梯度提升框架）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-17 4162
目录 走进LightGBM 什么是LightGBM？ XGBoost的缺点 LightGBM的优化 LightGBM的基本原理 Histogram 算法 直方图加速　 LightGBM并行优化 代码实践 参数详解 ​ 代码实操 最优模型及参数（数据集1000） 模型调参 每文一语 走进LightGBM 什么是LightGBM？ 在上一篇的文章里，我介绍了XGBoost算法，它是是很多的比赛的大杀器，但是在使用过程中，其训练耗时很长，内存占用比较大。 在2017年年..
YOLOv5改进系列（0）——重要性能指标、训练结果评价及分析、影响mAP指标的因素、优化mAP的方法
热门推荐
路人贾的博客
05-08 3万+
训练结果如何看？如何提高mAP?看看这篇就全部搞懂啦！超级详细，小白也能看懂！
深度学习：loss损失不下降
JalexDooo的博客
04-18 5927
这两周写代码遇到了一些问题，在训练深度学习模型时，出现损失不下降的问题。不同的state-of-art模型已经尝试很多种，损失一直维持在0.02～0.04；以下loss下降方法排除 model 影响。 损失下降方法原因 数据集不够，往往导致在此数据集上，不能很好的训练模型；或者训练样例特征太复杂，难以拟合。 学习率太高，loss肉眼可见的上下徘徊。 batch size太大，导致loss上下徘徊，难以拟合。 尝试不同的优化器，SGD 、 Adam等。 dropout用的太多了，适当减少。 训练时间不足。
模型训练loss不下降，精度不上升
qq_35037684的博客
11-26 8368
模型搭建好后，训练，发现loss不下降，精度不上升… 我枯了。。 iter[110]: accuracy = 0.8114 loss = 899.3430 iter[120]: accuracy = 0.8013 loss = 917.3421 iter[130]: accuracy = 0.8103 loss = 901.3432 iter[140]: accuracy = 0.7969 loss = 925.3407 it
解决使用keras提供的损失函数API时，梯度无法反向传播, 损失函数不下降
你的深度学习小站
10-09 693
在使用keras提供的损失函数API时，梯度无法反向传播, 损失函数不下降
神经网络训练时loss（损失函数）不下降的原因和解决方案
Yezy
04-21 4218
详情参照：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/
【机器学习】训练Loss不下降？深度剖析原因与解决方案
最新发布
科技改变人类，技术成就未来
06-18 1604
在进行机器学习和深度学习训练时，我们常常遇到训练loss（损失）不下降的难题。这可能源自多种因素，从数据质量到模型设计，再到训练配置与硬件资源。本篇技术博客将深入剖析这些原因，并提供实际的解决方案，辅以真实的实验数据和案例分析，为大家提供高效的参考。
YOLO单图像训练GPU加速秘诀：优化速度，提升效率，缩短训练时间
![YOLO单图像训练GPU加速秘诀：优化速度，提升效率，缩短训练时间]...# 1. YOLO单图像训练简介 YOLO（You Only Look Once）是一种流行的单步目标检测算法，因其速度快、精度高而闻名。本节将介绍 YOLO 单图像训练的...
【调试与性能分析】：提升深度学习模型训练效率的秘诀
[【调试与性能分析】：提升深度学习模型训练效率的秘诀](https://habrastorage.org/webt/xt/_q/nj/xt_qnjgfjengqoqd4gizkq4j_wk.png) # 1. 深度学习模型训练基础 在深度学习领域，模型训练是整个流程的核心环节之一...
【LightGBM大规模数据处理】：分布式训练与性能提升技巧
[【LightGBM大规模数据处理】：分布式训练与性能提升技巧](https://datascience.eu/wp-content/uploads/2019/12/Screenshot-2020-10-21-at-18.12.57.png) # 1. LightGBM概述及其在大规模数据处理中的作用 ## 1.1 ...
[深度学习] loss不下降的解决方法
吃不胖的粥
09-17 8001
转载https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 训练集loss不下降 训练集的loss在训练过程中迟迟不下降，一般是由这几个方面导致的，这一点在我之前的文章《深度学习：欠拟合问题的几种解决方案》中基本都涉及到了，详细内容可以查看原文，本文中，将这些内容面再做一个扩充。 1.模型结构和特征工程存在问题 如果一个模型的结构有问题，那么它就很难训练，通常，自己“自主研发”设计的网络结构可能..
关于对比损失（contrasive loss）的理解（相似度越大越相似的情况）：
Hero_Never_GIVE_UP的博客
09-26 1万+
def contro_loss(self): ''' 总结下来对比损失的特点：首先看标签，然后标签为1是正对，负对部分损失为0，最小化总损失就是最小化类内损失(within_loss)部分， 让s逼近margin的过程，是个增大的过程；标签为0是负对，正对部分损失为0，最小化总损失就是最小化between_loss，而且此时between_...
loss损失不下降的原因
进击的扛把子
04-27 1万+
文章目录前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选取有问题验证集loss不下降1.适当的正则化和降维2.适当降低模型规模3.获取更多的数据集4.对数据集做扰动和扩增测试集loss不下降1.应用场景有问题2.噪声问题 前言 当我们训练一个神经网络模型的时候
细节满满！理解对比学习和SimCSE，就看这6个知识点
Paper weekly
06-01 3127
‍‍‍‍‍‍©PaperWeekly 原创 · 作者 |海晨威研究方向|自然语言处理‍‍‍‍‍‍2020 年的 Moco 和 SimCLR 等，掀起了对比学习在 CV 领域的热潮，2...
提高yolo检测精度的一些方法
xxxy502的博客
01-07 1万+
随手记，看到别人写的，觉得蛮有道理的，有时间去实现看看，是否有用 random=1可以设置适应多分辨率 提升分辨率：416--> 608等必须是32倍数 重新计算你的数据集的anchor:(注意设置的时候计算问题) darknet.exe detector calc_anchors data/obj.data -num_of_clusters 9 -width ...
相关contrastive loss对比损失详解
向上生长的程序媛的博客
01-11 7480
文章目录 一、传统contrastive loss 二、WDMC loss(CEECNet) 1.应用于变化检测的contrastive loss变形 若对文章理解有歧义，欢迎留言交流，整理不易，欢迎一键三连！！！ 一、传统contrastive loss 对比损失是一种降维学习方法，它可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。该损失函数在深度学习中主...
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
机器学习之降低损失(Reducing Loss)
Leo
04-11 7551
为了训练模型，我们需要一种可降低模型损失的好方法。迭代方法是一种广泛用于降低损失的方法。一、迭代方法：一种迭代试错，优化模型的方法机器学习算法用于训练模型的迭代试错（迭代方法）过程：简单来说，迭代方法就是将模型预测值与实际值之间的误差值反馈给模型，让模型不断改进，误差值会越来越小，即模型预测的会越来越精确。在训练机器学习模型时，首先对权重和偏差进行初始猜测，然后反复调整这些猜测，直到获得损失可能最...
提升人体姿态估计精度：聚焦均方损失函数的创新设计
本文主要探讨了卷积神经网络在人体姿势估计任务中的精度提升问题，针对网络学习过程中回归热点图（如关键点分布图）时前景（高斯核区域，代表关键点）与背景像素点之间的不均衡现象，提出了一个创新的聚焦均方损失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值