只有一层lstm，Out of memory

最新推荐文章于 2022-12-05 22:33:44 发布
最新推荐文章于 2022-12-05 22:33:44 发布
阅读量232 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37590842/article/details/117305981
版权

事情是这样的，我的网络结构是这样的:

只有一层lstm+avgpooling+linear，且linear只有一个32*4的隐藏层。

网络层很小，所以肯定不是网络参数的事儿，那么问题就出现在样本上。

训练数据是有标签样本每批16篇文章，无标签样本5000+，测试集是（有标签+无标签）*0.2。

input并没有被

torch.cuda.empty_cache()

清除 。

因此，在使用完网络输出结果后，直接del，这样就不会超出内存了。

 

能向左或向右
关注
专栏目录
Keras深度学习实战（33）——基于LSTM的序列预测模型
盼小辉丶的博客
11-02 5723
长短时记忆网络 (LSTM) 可以返回最后一个时间戳的结果，即输出为一维数据，而多对多神经网络架构输出为多个维度，其中每个维度对应一个输出，而非多个类别的 softmax 激活函数值。例如，在股价预测中，我们可以使用多对多神经网络架构预测未来 5 天的股价，而不仅是下一个交易日的股价。在这类情况下，我们构建神经网络模型的方式有所不同。本文基于 LSTM 研究各类不同模型的序列预测问题，包括一对一架构以及多对多架构，并且通过实战验证了不同架构的输出结果。
【图像分类】基于PyTorch搭建LSTM实现MNIST手写数字体识别（双向LSTM，附完整代码和数据集）
学无止境、积少成多、厚积薄发
02-13 1503
基于PyTorch搭建LSTM实现MNIST手写数字体识别（双向LSTM，附完整代码和数据集）
LSTM层输出中output和hidden
l_aiya的博客
08-18 1406
LSTM层输出中output和hidden
nn.LSTM层出来的out和hn的关系
lyj223061的博客
07-08 769
import torch import torch.nn as nn 单层lstm lstm = nn.LSTM(input_size=100, hidden_size=200, bidirectional=True, batch_first=True) a = torch.randn(32, 512, 100) out, (h, c) = lstm(a) print(out.shape) # 32, 512, 400 print(h.shape) # 2, 32, 400 print(out[0
单层LSTM和多层LSTM的输入与输出
qq_39777550的博客
06-10 3万+
单层LSTM的输入与输出 上图是单层LSTM的输入输出结构图。其实它是由一个LSTM单元的一个展开，如下图所示： 所以从左到右的每个LSTM Block只是对应一个时序中的不同的步。 在第一个图中，输入的时序特征有S个，长度记作：seq_len，每个特征是一个C维的向量,长度记作：input_size。而Initial State是LSTM的隐藏状态和内部状态的一个输入的初始化。分别记作：h0和c0。 输出可以通过设置，来决定是输出所有时序步的输出，还是只输出最后一个时序步的输出。Final_State
Pytorch中的LSTM详细代码解读
qq_37150124的博客
11-10 2302
小白撸代码 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) lstm = nn.LSTM(3,3) #输入dim = 3 输出dim = 3 格式是输入的是3列 隐藏层数也是3列 #print(lstm) #输入 inputs = [torch.randn(1,3) for _ in range(5)] #序列长度为5
LSTM内部结构及前向传播原理——LSTM从零实现系列(1)
AI量化交易实验室
12-05 5052
LSTM前向传播原理
TensorFlow 笔记（三）：多层 LSTM代码详细介绍
lyc_yongcai的博客
06-15 6467
之前讲过了tensorflow中CNN的示例代码，现在我们来看RNN的代码。不过好像官方只给了LSTM的代码。那么我们就来看LSTM吧。 坦白说，这份写LSTM的代码有点难，倒不是说LSTM的原理有多难，而是这份代码中使用了大量tf提供的现成的操作函数。在精简了代码的同时，也增加了初学者阅读的难度。很多函数的用法我是去看源码，然后自己写示例代码才搞懂的。当然如果能把整份代码搞清楚的话，掌握这么多
for bilstm in self.bilstm_layers: bilstm_out, _= bilstm(bilstm_out)其中bilstm是参数还是函数
最新发布
06-23
在给定的代码片段中，`bilstm` 是一个参数，它代表一个双向长短时记忆（Bi-directional Long Short-Term Memory, BiLSTM）层。这个语句是在一个循环中迭代 `self.bilstm_layers` 这个列表，对每一个 `bilstm` 层应用...
Keras深度学习实战（32）——基于LSTM预测股价
盼小辉丶的博客
10-30 6852
股价预测是时间序列预测中最具挑战性的问题之一，研究股价预测问题具有重要的理论意义和应用价值。针对循环神经网络在股价预测中存在的长期依赖等缺点，本文引入了长短时记忆神经网络以提高股价预测的效果。同时，我们把有关公司的新闻标题的文本数据作为模型的输入变量时，发现预测效果更好，因此我们可以把有关公司的新闻标题的文本数据作为一个有效的输入变量。最后，通过利用 Keras 实现了以上两个股价预测模型，并进行了性能分析和对比。
RNN,LSTM,GRU关于输出的区别
m0_54342473的博客
04-30 1191
对于序列到序列（seq2seq）任务来说，因为target是全部时间步的数据 所以必须是所有时间步的隐藏状态 = out来作为输出 out,hn = torch.nn.RNN() out,(hn,cn) = torch.nn.LSTM() out,hn = torch.nn.GRU() 那么输入到线性层的都是out，比如： forward(): output = self.linear(out) return output 如果是预测分类问题，非序列到序列任务，因为target数据是单个值，而.
TensorFlow入门（五）多层 LSTM 通俗易懂版
热门推荐
大学之道，在明明德
03-10 13万+
欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不少教程，其中很多都是根据官方给出的例子，用多层 LSTM 来实现 PTBModel 语言模型，比如： tensorflow笔记：多层LSTM代码分析 但是感觉这些例子还
LSTM实现详解
cdj0311的专栏
09-15 3328
前言 在很长一段时间里，我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂，而且在此之前我从来没有使用它们做过任何东西。在互联网上快速搜索并没有什么帮助，因为我找到的都是一些幻灯片。 幸运地是，我参加了Kaggle EEG 竞赛，而且我认为使用LSTM很有意思，最后还理解了它的工作原理。这篇文章基于我的解决方案，使用的是Andrej Karpathy的char-rnn代码，
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
04-11 1510
无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有
多层LSTM结构的深入解读
herr_kun的博客
06-15 5万+
  读这篇文章的时候，默认你已经对LSTM神经网络有了一个初步的认识，当你深入理解时，可能会对多层LSTM内部的隐藏节点数，有关cell的定义或者每一层的输入输出是什么样子的特别好奇，虽然神经网络就像是一个黑箱子一样，但是我们仍然试图去理解他们。  我们所说的LSTM的cell就是这样子的一个结构：（图中标识的A就是一个cell，图中一共是三个cell）   其中的X.t代表t时刻的输入，h.t代...
知乎--LSTM（挺全的）
战斗蜗牛的专栏
05-12 7万+
首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？ 关注问题写回答 互联网 机器学习 深度学习（Deep
LSTM的公式推导详解
There he thinks.
07-31 4万+
导言在Alex Graves的这篇论文《Supervised Sequence Labelling with Recurrent Neural Networks》中对LSTM进行了综述性的介绍，并对LSTM的Forward Pass和Backward Pass进行了公式推导。这篇文章将用更简洁的图示和公式一步步对Forward和Backward进行推导，相信读者看完之后能对LSTM有更深入的理解。
多层LSTM的坑：如何定义多层LSTM？
wzg2016的博客
08-24 1万+
多层LSTM定义的两种方式，其中方式2是正确的，方式1挥出现错误： 多层LSTM需要每次都定义一个新的BasicCell, 而不是定义一个BasicCell之后多次调用。 def lstm_model(X,Y,is_training): ###方式1：错误！！ #cell_unit = tf.nn.rnn_cell.BasicLSTMCell(HIDDEN_SIZ...
用mindspore设计一个lstm网络
04-24
LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN），用于处理序列数据。以下是使用MindSpore设计LSTM网络的示例代码： ``` import mindspore.nn as nn import mindspore.ops.operations as P class ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值