LSTM原理

前言

Tip：
       该博客里的内容是博主学习的一些心路历程，期间也会查阅一些其他博客和文献，还有一些自己的理解，可能会存在一些理解不正确的地方。如果阅读这篇博客请带着学习和质疑两种心态。如有问题，欢迎指出。

LSTM理论

1.LSTM介绍

       LSTM（Long Short-Term Memory）是一种 RNN 的特殊类型，它可以学习长期依赖信息。通过引入了自循环，以产生梯度长时间持续流动的路径，解决RNN梯度消失的问题。它在RNN的基础上添加了输入门、遗忘门、输出门和细胞状态。

2.LSTM结构图

       通过RNN和LSTM的结构图对比，可以直观地感受到LSTM在结构上的变化。

RNN结构图

LSTM结构图

       下面看一下LSTM每个门控的结构图和公式，这样可能会容易理解一些。

①细胞状态：
       我理解细胞状态应该代表的就是前些时刻的信息。它直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。

细胞状态图

②遗忘门：
       通过字面意思就可以感觉到，遗忘门就是决定会从细胞状态中丢弃什么信息。遗忘门的输入是$h_{t-1}$和$x_t$，输出一个在 0 到 1 之间的数值给每个在细胞状态