LSTM训练无法收敛

最新推荐文章于 2024-07-12 11:00:36 发布
置顶 最新推荐文章于 2024-07-12 11:00:36 发布
阅读量9.6k 收藏 2
点赞数 1
分类专栏： 学习 文章标签： 人工智能 智能交互 深度学习 LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40771875/article/details/88414335
版权

LSTM不收敛问题

  • 问题描述
    我准备用LSTM建立一个关于时序数据的映射问题，简单点来说就是输入一段有序的数据，经过LSTM之后输出另一段有序的数据，例如输入一段行走的动画骨架数据，输出一段跑的骨架数据。
  • 我的方法
    使用了三层的LSTM,将走的数据当作输入，跑的数据当做标签，将网络输出的结果和我的标签数据进行对比（使用了MSE损失函数），然后反向传播改进网络。
  • 我的问题
    网络不收敛，损失函数下降到0.02左右就不下降了，如下图所示，数据量是够的，学习率也非常的小，0.00001，我是过加入batch normalize,没有什么效果，各位大神们有什么建议和经验之谈吗？望不吝赐教，谢谢大家了！！！

weixin_40771875
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
lstm不收敛_LSTM学习笔记
weixin_39771351的博客
11-22 1355
最近实验中需要用到LSTM，记录下我对LSTM的理解。什么是LSTM？首先介绍一下标准的RNN，它拥有记忆能力，适合处理序列型的数据，比如语音识别，但它有有以下缺点：只能记住非常短的序列难以训练，收敛困难RNN的结构LSTM全名“长短期记忆神经网络”，正好解决了RNN的缺点。LSTM会选择性忘记不重要的信息，因此它能记住更长的序列，且它更容易训练LSTM的结构 LSTM的关键是单元（门）的状态，即...
想问一下LSTM为啥不收敛
qq_41102254的博客
03-01 2804
按照别人的代码写了一个三层的 LSTM的代码，输入为（-1，stpes，input）的形式，具体大小为（32，10，512），做动作识别的，但是网络的损失值一直为固定范围内的值大概是四点多，网络损失一直不下降，请问是哪里错了吗，下面是那部分的代码 n_hidden_units=128 # 隐藏层神经元数目 num_layers=3 # 双向lstm神经网络的层数 n_s...
lstm不收敛_RNN、LSTM原理以及paddle中使用
weixin_39842918的博客
11-20 446
1. 背景 查阅lstm相关资料，发现很多博客写得语焉不详，内容也多有雷同。笔者从以下几个问题，尽量用精简的语言，梳理lstm的原理。rnn/lstm的结构rnn/lstm的梯度计算表达式paddle使用lstm。2. rnn/lstm的结构 rnn(英文名recurrent neural network)递归神经网络，输入序列数据(文章里统一指代时间序列数据)，一般为三维(batch...
神经网络不收敛的 原因
LaineGates的专栏
06-29 1012
原文 原文标题：My Neural Network isn’t working! What should I do? Github Notes 前言 如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因： 忘记对你的数据进行归一化 忘记检查输出结果 没有对数据进行预处理 没有使用任何的正则化方法 使用了一个太大的 batch size 使用一个错误的学习率 在最后一层使用错误的激活函数 网络包含坏的梯度 网络权重没有正确的初始化 使用了一个太深的神经网络 隐藏层神经元数
深度学习试题_深度学习面试题及参考答案
weixin_39691968的博客
11-21 2896
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxCNN权值共享问题首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水...
lstm不收敛_RNN和LSTM有长期记忆吗？华为诺亚方舟实验室与港大联合发表在ICML2020的论文将为你揭开谜底...
weixin_39587822的博客
11-22 275
引言为了克服递归网络(RNN)学习长期依赖的困难，长短期记忆(LSTM)网络于1997年被提出并后续在应用方面取得了重大进展。大量论文证实了LSTM的实用性并试图分析其性质。而“RNN和LSTM是否具有长期记忆？”这个问题依然缺少答案。本论文从统计学的角度回答了这一问题，证明了RNN和LSTM在做时间序列的预测时不具备统计意义上的长期记忆。统计学已有的对于长期记忆的定义并不适用于神经网络...
lstm不收敛_LSTM 股票市场预测入门
weixin_39850331的博客
11-20 382
作者：宋彤彤相信很多人都会对股票市场数据的起起伏伏感到好奇，特别想知道他们未来的趋势会是怎样，最近看到一篇用 LSTM 做初步的股票市场预测的文章，在这里分享给大家。1. LSTM 神经元首先我们来认识一下 LSTM 神经元：长期困扰传统神经网络结构的一个基本问题是解释“信息”和“上下文”相互依赖的输入序列。这里的“信息”可以是句子中先前的单词以允许上下文预测下一个单词可能是什么，或者它可以是序列...
LSTM-matlab.rar
08-16
- 数据通常需要归一化或标准化，以便在网络中训练时收敛更快。 2. **模型结构**： - LSTM单元包含输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。每个门都是一个sigmoid激活函数的神经...
PSO-LSTM Matlab源码，含数据
02-10
传统RNN在训练过程中易出现梯度消失或爆炸，而LSTM通过引入门控机制（输入门、遗忘门和输出门）来有效管理记忆单元，使得信息能在更长的时间跨度内流动。 ### 2. PSO算法简介 粒子群优化算法是一种基于群体智能的...
Kmeans+LSTM实现
08-25
6. 训练LSTM：使用优化器、损失函数进行模型训练，并设置验证集监控性能。 7. 预测与评估：对新数据进行预测，比较预测结果与实际值，评估模型的准确性和稳定性。 这个项目提供的数据集和代码可以帮助我们直接运行...
lstm_matlab-master.rar
02-08
6. **模型训练与评估**：训练过程中的损失函数、验证集性能和模型收敛情况的监控。 7. **结果可视化**：如何通过MATLAB图形界面展示训练过程和结果，帮助理解模型学习动态。 通过这个项目，初学者不仅可以学习到...
基于LSTM网络的风速预测
06-02
综上所述，基于LSTM的风速预测涉及到数据预处理、模型构建、超参数调优、模型训练等多个环节，每个环节都需要细致入微的考虑和实践，以实现最精确的风速预测。通过不断实验和优化，我们可以构建出一个高效且可靠的...
lstm不收敛_ICLR 2019 最佳论文 ON-LSTM
weixin_39935092的博客
11-22 264
最近ICLR2019接受论文已经公布，最佳论文也跟着亮相了，这篇是两篇最佳论文中的其中一篇，另外一篇是《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。本文题目是《Ordered Neurons: Integrating Tree Structures Into Recurrent N...
lstm不收敛_LSTM原理及实践（二）：预测收盘价
weixin_39555579的博客
11-22 1042
介绍完上一节的理论后，我们来实际运用一下，运用ETFs的开高低收四个来预测下一个工作日的收盘价。此文只是写lstm的运用的一个例子，请不要运用于真实预测。。。因为ETFs，stock的价格不仅仅只是时序序列这么简单。这个项目主要用了pytorch，是一个我本人比较喜欢感觉比较容易上手的深度学习框架。数据读取以及处理：# 导入相关包 读入ETFs数据，把时间作为index，只留下开高低收四个变量用于...
神经网络不收敛的查缺补漏
WeisongZhao
08-21 1685
数据归一化 数据归一化包括三个内容：数据缩放的本质、区别，以及选择合适的缩放方法。缩放包括归一化和标准化，两者的本质都是一个线性变换，线性变换有很多良好的性质，这些性质决定了为什么对数据进行改变后竟然不会失效，反而还能提高数据的表现。例如线性变换不会改变数值的排序。 归一化和标准化的而区别，归一化是统一到一定的区间（由极值决定），而标准化和整体样本由很大关系。 什么时候使用归一化/标准化， 如果对...
时空序列预测模型GAN+LSTM
热门推荐
abcdefg90876的博客
06-03 1万+
一、AddressICC 2019的一篇paper，为清华团队所写思路很有趣，也很容易想到，就是用比较火的GAN加上LSTMSatellite Image Prediction Rely...
【视频】Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析|数据分享...
拓端研究室TRL
07-07 95
全文下载链接：http://tecdat.cn/?p=23544在本文中，长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络，能够学习长期依赖关系（点击文末“阅读原文”获取完整代码数据）。本文使用降雨量数据（查看文末了解数据免费获取方式）进行分析。视频：LSTM神经网络架构和工作原理及其在Python中的预测应用什么是依赖关系？假设您在观看视频时记得前一个场景，或者在阅读一本...
基于pytorch的CNN、LSTM神经网络模型调参小结
weixin_30517001的博客
09-03 984
（Demo） 这是最近两个月来的一个小总结，实现的demo已经上传github，里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略，以及经验（其实并没有什么经验）等，白菜一枚。 Demo Site: https...
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
最新发布
仙魁XAN
07-12 857
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
LSTM训练时loss不变
06-13
如果LSTM训练时loss不变，可能有以下几个原因： 1. 学习率过小：学习率过小会导致模型收敛缓慢，甚至无法收敛。可以尝试增加学习率，或者使用自适应学习率的优化器。 2. 数据集问题：数据集可能存在问题，比如样本数量过少、数据分布不均等，导致模型无法学到有效的特征。可以尝试增加数据集的样本数量或者使用数据增强等方法。 3. 模型复杂度问题：模型过于简单或者过于复杂都会导致loss不变。可以尝试增加模型的复杂度或者减少模型的复杂度。 4. 初始化问题：模型参数的初始化可能存在问题，导致模型无法学到有效的特征。可以尝试使用其他的初始化方法，比如Xavier初始化等。 5. 训练时间不足：模型需要足够的训练时间才能学到有效的特征。可以尝试增加训练时间或者使用预训练模型进行微调。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值