【动手学深度学习-pytorch】9.2长短期记忆网络（LSTM）

闪闪发亮的小星星

已于 2024-03-29 15:38:21 修改

阅读量311

点赞数

分类专栏：深度学习入门深度学习深度学习笔记文章标签： lstm 深度学习人工智能

于 2023-09-05 18:53:18 首次发布

本文链接：https://blog.csdn.net/weixin_39107270/article/details/132696929

版权

深度学习笔记同时被 3 个专栏收录

44 篇文章 0 订阅

订阅专栏

深度学习入门

19 篇文章 1 订阅

订阅专栏

深度学习

17 篇文章 1 订阅

订阅专栏

概念

三个门：遗忘门、输入门、输出门

在这里插入图片描述

候选记忆单元

在这里插入图片描述

记忆单元

在这里插入图片描述

隐状态

在这里插入图片描述
ot 控制是否让输出，是否要进行重置。

总结

在这里插入图片描述

代码实现

import torch
from torch import nn
from d2l import torch as d2l

batch_size,num_steps = 32,35
train_iter,vocab = d2l.load_data_time_machine(batch_size,num_steps)
vocab_size, num_hiddens, device = len(vocab), 256, d2l.try_gpu()
num_inputs = vocab_size
lstm_layer = nn.LSTM(num_inputs, num_hiddens)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 1
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)