PyTorch深度学习实战（41）——循环神经网络与长短期记忆网络

0. 前言

循环神经网络 (Recurrent Neural Network, RNN) 和长短期记忆网络 (Long Short-Term Memory, LSTM) 是两种常见的处理序列数据的神经网络架构。RNN 是一种具有循环连接的神经网络，它在处理序列数据时能够考虑上下文信息，但当序列长度较长时，过去的信息难以正确传递到当前时间步。为了解决这一问题， LSTM 对 RNN 架构进行了改进，通过引入门控机制来有效地处理长期依赖关系。本节中，将介绍 RNN 及其变体 LSTM 的基本原理，并学习如何在 PyTorch 中进行构建。

1. 循环神经网络

神经网络可以通过多种方式进行构建，常见架构如下所示：

底部的紫色框代表输入，其后是隐藏层(中间的黄色框)，顶部的粉色框是输出层。一对一的体系结构是典型的神经网络，在输入和输出层之间具有隐藏层。不同体系结构的示例如下：

<

架构	示例