pytorch训练时accuracy收敛缓慢的可能原因

最新推荐文章于 2023-02-16 02:48:43 发布
最新推荐文章于 2023-02-16 02:48:43 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： 踩坑专用专栏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45576923/article/details/108675010
版权

今天在使用pytorch搭建LSTM网络跑THUC数据集时，发现每遍历一遍50000条数据，准确率只增长了0.001-0.01。后来发现是学习率设置小了。

提高学习率后，模型在前几个epoch就快速收敛了。
这种小错误以后要避免呀！=_=

锦恢
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习训练时网络不收敛的原因分析总结
comway_Li的博客
08-20 4万+
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法： 1. 数据...
lstm不收敛_LSTM原理及实践（二）：预测收盘价
weixin_39555579的博客
11-22 1036
介绍完上一节的理论后，我们来实际运用一下，运用ETFs的开高低收四个来预测下一个工作日的收盘价。此文只是写lstm的运用的一个例子，请不要运用于真实预测。。。因为ETFs，stock的价格不仅仅只是时序序列这么简单。这个项目主要用了pytorch，是一个我本人比较喜欢感觉比较容易上手的深度学习框架。数据读取以及处理：# 导入相关包 读入ETFs数据，把时间作为index，只留下开高低收四个变量用于...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习网络模型训练---收敛速度慢
热门推荐
WJ_MeiMei的博客
01-21 3万+
问题 网络训练速度慢 主要原因 模型的问题，训练迭代时含大量参数 最佳解决办法 优化算法模型 有技巧的解决办法 网络模型的优化，通常是比较难的。但可以通过其他方式来加速收敛速度 增大学习率 减小迭代次数 在迭代次数不变的情况下，去调节batch_size和epoch间比例 为微调ＳＧＤ参数，动量 及时释放不必要的内存开销，中间变量及时释放 ...
神经网络训练不收敛或训练失败的原因小结
m0_61899108的博客
02-28 4311
前言 本文分别从数据方面和模型方面分析了导致模型训练不收敛或失败的原因，数据方面总结了四种可能的原因，模型方面总结了九种可能的问题。除此之外，本文介绍了每种潜在问题的产生后果或现象，并提供了常规做法。 作者：风影忍着@知乎，转载自CV技术指南，文章仅用于学术分享 文章：神经网络训练过程中不收敛或者训练失败的原因 - 知乎 在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般.
慢收敛问题以及解决方法
qq_45255257的博客
09-24 4945
慢收敛问题是什么？ 路由表的慢收敛问题并非仅在RIP中出现，任何距离向量协议中都有可能发生的一个基本问题。如下图，能更好的理解慢收敛问题： （a）中的三个路由器都有到网络1中的路由；（b）中到网络 1的路由已经消失了，R2对网络1的路由通告造成了路由选择环路。此刻，如果R1和R2中的任何一个受到发往网络1的数据报，就会彼此的传递该数据报，直到生存时间的计数器超时。 怎么解决慢收敛？ 1.水平分割 路由器从某个接口接收到的更新信息不允许再从这个接口发回去。在这个例子中，不允许R2把它到网络1的路由在通告给R
让PyTorch训练速度更快，你需要掌握这17种方法
Paper weekly
01-17 1765
作者｜LORENZ KUHN来源｜机器之心编译掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加...
Pytorch模型训练实用教程
10-03
Pytorch模型训练实用教程 来源： https://github.com/TingsongYu/PyTorch_Tutorial
基于pytorch 预训练的词向量用法详解
01-20
如何在pytorch中使用word2vec训练好的词向量 torch.nn.Embedding() 这个方法是在pytorch中将词向量和词对应起来的一个方法. 一般情况下,如果我们直接使用下面的这种: self.embedding = torch.nn.Embedding(num_...
基于Pytorch训练CIRAR10上分类算法.zip
最新发布
05-22
pytorch 基于Pytorch训练CIRAR10上分类算法
pytorch 预训练层的使用方法
12-31
pytorch 预训练层的使用方法 将其他地方训练好的网络，用到新的网络里面 加载预训练网络 1.原先已经训练好一个网络 AutoEncoder_FC() 2.首先加载该网络，读取其存储的参数 3.设置一个参数集 cnnpre = AutoEncoder_...
win10下pytorch，tensorflow，keras+tf速度对比
lzv2v的专栏
05-07 7020
采用GitHub上的代码运行类似vgg模型，在cifar10上训练，结果朋友torch与tensorflow速度相当，远远快过keras。 pytorchtensorflowkeras+tensorflowversion0.4.01.8.0Keras: 2.1.6 Tensorflow: 1.8.0train time：1min 14s1min 9s1min 51sevaluate time：...
ValueError: too many dimensions ‘str‘
锦恢的博客
09-10 2万+
使用torchtext读取预处理好的文本csv文件时遇到了报错，这是我的代码 import torch import torch.nn as nn import torch.utils.data as Data from torchtext import data if __name__ == "__main__": mytokenize = lambda x : x.split() # str -> list[str] # 创建预处理对象 TEXT = data.Fi
Failed to load module script: Expected a JavaScript module script but the server responded with a MI
锦恢的博客
02-16 2万+
slidev部署踩坑
VS开发Qt应用时遇到“找不到VCRUNTIME140D_APP.dIl,无法继续执行代码”的错误
锦恢的博客
01-17 3825
反正在VS中运行Qt项目时告诉你找不到dll的错误，我看了一下步骤，qmake生成可执行文件没问题，在运行的时候出了问题，所以和我的程序本身没关系，而是和我的开发环境有关系。 因为我发现其中出现了APP的字样，所以我猜测是不是Qt关于安卓开发的包的编译器的环境变量与正常的Qt中的MSVC编译器的环境变量起冲突了。所以我打开了Path环境变量列表看看Qt的我设置了哪些： 然后我将除了msvc2017_64和mingw73_64外的其余Qt的编译器的环境变量都删了，然后重新build和run项目，就好了。
Ubuntu: No module named pip
锦恢的博客
01-24 2846
最近在用python2.X为ros写RL的测试脚本，总之发现Ubuntu上的python2使用pip时出现No module named pip，但是我的python2是可以成功启动的。于是乎，我先是 $ python -m ensurepip 然后蹦出来一堆： ensurepip is disabled in Debian/Ubuntu for the system python. Python modules For the system python are usually handled by
spacy语言模型安装踩坑经历
锦恢的博客
09-08 2309
萌新只是想做一个chatbot，文本分析时安装spacy时踩了两个小时的坑。终于找到了行之有效的方法。 相信如果按照官方的安装方法安装好了，并且运行没有报错，你就不会来看这篇博客了吧=_=。 我就直接写做法吧。在安装了最新版的spacy库后，点击这个链接。截图如下。 模型开头字母的代表语言，比如en代表英语，es代表西班牙语，zh代表中文。下载后缀为sm的就行，比如需要英语的模型，那么下载en_core_web_sm-2.3.1。这里需要注意，务必下载最新版的语言模型，否则正则表达式模块会报错。 下载下来
manimgl渲染出现线条缺失的问题（已解决）
锦恢的博客
01-12 954
问题出现场景 之前给电脑换了一块显卡，结果，再运行我的manim动画的时候，我发现渲染的结果出现了缺失！ 比如运行正常的hello world时，圆形的轮廓没有渲染出来。而且入场的矩形完全没有渲染出来！ 正常的渲染结果应该如下： 问题原因 已经解决。这是由于python的默认显卡为集显与manimgl使用的驱动不符或者算力不够导致的。猜测如果你使用的显卡性能落后，而也会出现类似的情况。 解决方法 将python默认使用的显卡改成独显即可，下方演示win11 dev版本的修改过程，其他平台用户可仿照：
pytorch怎么画accuracy图
05-05
首先，你需要在训练过程中记录每个epoch的accuracy，可以通过以下的代码来实现： ```python accuracy_list = [] for epoch in range(num_epochs): # 训练模型 train() # 测试模型，并记录accuracy accuracy = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值