从RNN到Attention到Transformer-LSTM介绍

深度学习知识点总结

专栏链接:
深度学习知识点总结_Mr.小梅的博客-CSDN博客
本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。

本章介绍LSTM及其手动计算过程。

从RNN到Attention到Transformer系列文章RNN系列-RNN介绍、手动计算验证_Mr.小梅的博客-CSDN博客

---

目录

3.2 LSTM

3.2.1 LSTM介绍

3.2.2 分步 LSTM 演练

3.2.3 PyTorch中LSTM的计算

3.2.4 LSTM变形-加入peepholes (窥视孔)

3.2.5 LSTM变形-忘记门和输入门使用耦合的LSTM

3.2.6 LSTM变形-GRU

---

3.2 LSTM

3.2.1 LSTM介绍

        长短期记忆网络 - 通常简称为“LSTM” - 是一种特殊的RNN，能够学习长期依赖关系。它们由Hochreiter&Schmidhuber（1997）引入，并在随后的工作中被许多人改进和推广。它们在各种各样的问题上都非常出色，现在被广泛使用。

        LSTM 是显式设计的，以避免长期依赖关系问题。长时间记住信息实际上是他们的默认行为，而不是他们努力学习的东西！

        所有递归神经网络都具有神经网络重复模块链的形式。在标准RNN中，这个重复模块将具有非常简单的结构，例如单个tanh层。

标准 RNN 中的重复模块包含单个层

        LSTM也具有这种链状结构，但重复模块具有不同的结构。不是一个神经网络层，而是有四个，以一种非常特殊的方式进行交互。

LSTM 中的重复模块包含四个交互层

        在上图中，每条线都携带一个完整的向量，从一个节点的输出到其他节点的输入。粉红色圆圈表示逐点操作，如矢量加法，而黄色框是学习的神经网络层。行合并表示串联，而行分叉表示其内容被复制，副本转到不同的位置。

        LSTM 背后的核心思想：

        LSTM 的关键是单元状态，即贯穿图顶部的水平线。

        单元状态有点像传送带。它直接沿着整个链条运行，只有一些小的线性相互作用。信息很容易沿着它原封不动地流动。

        LSTM确实能够去除或向细胞状态添加信息，由称为门的结构仔细调节。门是一种选择性地让信息通过的方法。它们由sigmoid神经网络层和逐点乘法运算组成。