numpy 定义 lstm_forward（time-step=7）

最新推荐文章于 2022-12-03 20:49:12 发布
最新推荐文章于 2022-12-03 20:49:12 发布
阅读量680 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lai983224692/article/details/96039881
版权
这篇博客详细介绍了如何用numpy实现LSTM的前向传播过程，包括遗忘门、更新门、输出门和候选值的计算。文章还讨论了记忆单元和隐藏单元的作用，并提到了矩阵操作，如按列合并和按行合并。内容中提到，每个神经元都有相应的偏置项，且与RNN的前向传播类似。
摘要由CSDN通过智能技术生成

遗忘门：   \bg_white {\Gamma _{f}}^{\left \langle t \right \rangle} =\sigma \left ( W_{f} \cdot \right\left [ a^{\left \langle t-1 \right \rangle},x^{\left \langle t-1 \right \rangle} \right ]+ b_{f})  

更新门:     {\Gamma _{u}}^{\left \langle t \right \rangle} =\sigma \left ( W_{u}\cdot \right\left [ a^{\left \langle t-1 \right \rangle},x^{\left \langle t-1 \right \rangle} \right ] +b_{u})

输出门:     

最低0.47元/天 解锁文章
lai983224692
关注
LSTM 双向 Bi-LSTM
jacke121的专栏
12-13 798
LSTM 双向 Bi-LSTM
forward函数在LSTM模型中
辛宣的博客
02-01 380
"forward"函数是指在LSTM(长短时记忆网络)模型中所执行的一次正向传播。在LSTM中，这个函数的作用是根据当前的输入以及之前的状态来计算当前的输出和更新网络中的隐藏状态。具体来说，首先，网络会对输入进行线性变换，并计算出三个门(输入门、遗忘门和输出门)的值，然后根据这些值来更新网络中的隐藏状态。最后，网络会将当前的隐藏状态和输入做线性变换，得到最终的输出。 一般来说,在一个 LSTM ...
deeplearning.ai 总结 - C++实现 lstm forward
flyfish
05-01 769
deeplearning.ai 总结 - C++实现 lstm forward flyfish struct parameters { Eigen::MatrixXd* Wf; Eigen::MatrixXd* bf; Eigen::MatrixXd* Wi; Eigen::MatrixXd* bi; Eigen::Matri...
【Pytorch】LSTM网络
qq_42203652的博客
07-01 301
pytorch使用LSTM常见报错
LSTM的手动推导与代码逐行实现
peaunt1的博客
08-20 4238
LSTM
python基础学习（7）
oneself的博客
12-03 947
python基础学习（7）
这段代码中加一个test loss功能 class LSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size, batch_size, device): super().__init__() self.device = device self.input_size = input_size self.hidden_size = hidden_size self.num_layers = num_layers self.output_size = output_size self.num_directions = 1 # 单向LSTM self.batch_size = batch_size self.lstm = nn.LSTM(self.input_size, self.hidden_size, self.num_layers, batch_first=True) self.linear = nn.Linear(65536, self.output_size) def forward(self, input_seq): h_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(self.device) c_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(self.device) output, _ = self.lstm(input_seq, (h_0, c_0)) pred = self.linear(output.contiguous().view(self.batch_size, -1)) return pred if __name__ == '__main__': # 加载已保存的模型参数 saved_model_path = '/content/drive/MyDrive/危急值/model/dangerous.pth' device = 'cuda:0' lstm_model = LSTM(input_size=1, hidden_size=64, num_layers=1, output_size=3, batch_size=256, device='cuda:0').to(device) state_dict = torch.load(saved_model_path) lstm_model.load_state_dict(state_dict) dataset = ECGDataset(X_train_df.to_numpy()) dataloader = DataLoader(dataset, batch_size=256, shuffle=True, num_workers=0, drop_last=True) loss_fn = nn.CrossEntropyLoss() optimizer = optim.SGD(lstm_model.parameters(), lr=1e-4) for epoch in range(200000): print(f'epoch:{epoch}') lstm_model.train() epoch_bar = tqdm(dataloader) for x, y in epoch_bar: optimizer.zero_grad() x_out = lstm_model(x.to(device).type(torch.cuda.FloatTensor)) loss = loss_fn(x_out, y.long().to(device)) loss.backward() epoch_bar.set_description(f'loss:{loss.item():.4f}') optimizer.step() if epoch % 100 == 0 or epoch == epoch - 1: torch.save(lstm_model.state_dict(), "/content/drive/MyDrive/危急值/model/dangerous.pth") print("权重成功保存一次")
最新发布
06-03
def forward(self, input_seq): h_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(self.device) c_0 = torch.randn(self.num_directions * self.num_layers, ...
lstm timestep一般是多少_pytorch中LSTM笔记
weixin_28783937的博客
02-07 1068
title: pytorch中LSTM笔记date: 2018-07-12 16:52:53tags:- torch项目categories:- pytorch单向LSTM笔记torch.nn.LSTM()输入API重要参数input_size: 每一个时步(time_step)输入到lstm单元的维度.(实际输入的数据size为[batch_size, input_size])hidden_si...
下面的这段python代码，哪里有错误，修改一下：import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch import torch.nn as nn from torch.autograd import Variable from sklearn.preprocessing import MinMaxScaler training_set = pd.read_csv('CX2-36_1971.csv') training_set = training_set.iloc[:, 1:2].values def sliding_windows(data, seq_length): x = [] y = [] for i in range(len(data) - seq_length): _x = data[i:(i + seq_length)] _y = data[i + seq_length] x.append(_x) y.append(_y) return np.array(x), np.array(y) sc = MinMaxScaler() training_data = sc.fit_transform(training_set) seq_length = 1 x, y = sliding_windows(training_data, seq_length) train_size = int(len(y) * 0.8) test_size = len(y) - train_size dataX = Variable(torch.Tensor(np.array(x))) dataY = Variable(torch.Tensor(np.array(y))) trainX = Variable(torch.Tensor(np.array(x[1:train_size]))) trainY = Variable(torch.Tensor(np.array(y[1:train_size]))) testX = Variable(torch.Tensor(np.array(x[train_size:len(x)]))) testY = Variable(torch.Tensor(np.array(y[train_size:len(y)]))) class LSTM(nn.Module): def __init__(self, num_classes, input_size, hidden_size, num_layers): super(LSTM, self).__init__() self.num_classes = num_classes self.num_layers = num_layers self.input_size = input_size self.hidden_size = hidden_size self.seq_length = seq_length self.lstm = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, num_classes) def forward(self, x): h_0 = Variable(torch.zeros( self.num_layers, x.size(0), self.hidden_size)) c_0 = Variable(torch.zeros( self.num_layers, x.size(0), self.hidden_size)) # Propagate input through LSTM ula, (h_out, _) = self.lstm(x, (h_0, c_0)) h_out = h_out.view(-1, self.hidden_size) out = self.fc(h_out) return out num_epochs = 2000 learning_rate = 0.001 input_size = 1 hidden_size = 2 num_layers = 1 num_classes = 1 lstm = LSTM(num_classes, input_size, hidden_size, num_layers) criterion = torch.nn.MSELoss() # mean-squared error for regression optimizer = torch.optim.Adam(lstm.parameters(), lr=learning_rate) # optimizer = torch.optim.SGD(lstm.parameters(), lr=learning_rate) runn = 10 Y_predict = np.zeros((runn, len(dataY))) # Train the model for i in range(runn): print('Run: ' + str(i + 1)) for epoch in range(num_epochs): outputs = lstm(trainX) optimizer.zero_grad() # obtain the loss function loss = criterion(outputs, trainY) loss.backward() optimizer.step() if epoch % 100 == 0: print("Epoch: %d, loss: %1.5f" % (epoch, loss.item())) lstm.eval() train_predict = lstm(dataX) data_predict = train_predict.data.numpy() dataY_plot = dataY.data.numpy() data_predict = sc.inverse_transform(data_predict) dataY_plot = sc.inverse_transform(dataY_plot) Y_predict[i,:] = np.transpose(np.array(data_predict)) Y_Predict = np.mean(np.array(Y_predict)) Y_Predict_T = np.transpose(np.array(Y_Predict))
05-27
4. LSTM 模型的定义是否正确。 5. 训练和预测的代码是否正确。 下面是修改后的代码： ```python import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch import torch.nn as nn ...
长短时记忆神经网络python代码_零基础入门深度学习(6) - 长短时记忆网络(LSTM)
weixin_39975744的博客
12-05 913
无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习(Deep Learning)这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...
LSTM的公式推导详解
热门推荐
u010215313的博客
08-14 1万+
导言 在Alex Graves的这篇论文《Supervised Sequence Labelling with Recurrent Neural Networks》中对LSTM进行了综述性的介绍，并对LSTM的Forward Pass和Backward Pass进行了公式推导。 这篇文章将用更简洁的图示和公式一步步对Forward和Backward进行推导，相信读者看完之后能对LSTM有更深入...
[Pytorch系列-55]：循环神经网络 - 使用LSTM网络对股票走势进行预测
文火冰糖（王文兵）的博客
12-01 3264
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 第1章 LSTM神经网络理论基础 第2章 业务说明 2.1 业务说明 2.2 环境准备 第3章 构建训练和测试数据集 3.1 下载并查看股票数据 3.2根据序列的长度， 把数据集，构建成序列数据集 3.3划分训练集，验证集 3.4构造数据迭代器dataloader 第4章 构建LSTM网络 4.1 定义网络 4.2 实例化网络 4.3 loss和优化器 第5章 ...
《NLP知识点第二讲》LSTM的原理与代码实现
luccao的博客
09-06 1062
上一讲我们讲到了普通RNN的原理与代码实现，但是普通RNN存在一个缺点就是梯度消失的问题，并且不能解决长期依赖问题。LSTM通过改变RNN的隐藏层，解决了梯度消失问题，并且实现了网络信息的深层次连接。 1. LSTM_cell_forward LSTM只是改变了RNN的隐藏层，各个gate的输出是0到1，也就是他们可以选择是否保留之前的信息。1就是保存，0就是舍弃。 具体代码实现如下： ...
LSTM模型的推导与实现
VIEO
04-18 4014
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 博客详细推导了LSTM模型的前向和反向传播，下面主要展示源码实现。 #!/usr/bin/env python # -*- coding: ...
LSTM的反向传播过程推导
CSDN 人工智能
03-02 8098
【在线直播】《TensorFlow实战》作者、PPmoney大数据算法总监黄文坚老师即将开课：《使用TensorFlow创建可自动玩游戏的DQN模型》，本次课程集中讲解Deep-Q Network及其TensorFlow的实现。点击报名 近些年来，随着深度学习的崛起，RNN模型也变得非常热门。如果把RNN模型按照时间轴展开，它也类似其它的深度神经网络模型结构。因此，我们可以参照已有的方法训练...
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
04-11 1526
无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有
机器学习：深入理解 LSTM 网络 (一)
weixin_30299539的博客
11-28 541
Recurrent Neural Network Long Short Term Memory Networks (LSTMs) 最近获得越来越多的关注，与传统的前向神经网络 (feedforward network)不同，LSTM 可以对之前的输入有选择的记忆，从而有助于判断当前的输入， LSTM的这一特点在处理时序相关的输入时，有着很大的优势。 LSTM ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值