一、LSTM必知知识
1.时间序列:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e244d9e10be9aa01581dbb9415308844.png)
2.循环神经网络RNN处理时间序列的思路
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5272d2cffc5eeddad716d1fea30f9c8e.png)
3.RNN算法问题-"记忆机制"相关问题
<1>问题1:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/b6feac2dbd3f5744fbc10ab5886f160d.png)
<2>:问题2
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/bd8bfe5d202367b5049dd87a52a0c9e8.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/9ddac300239a797a742ee9d79ade83fd.png)
二、LSTM基本结构–记忆细胞
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/1eb0d51369aeea93433ff8d79adfdd82.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4e9dcd893d5d7831a3425b87008b0bea.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/6943d6554674f5a2cbf72b46a1a5397b.png)
三、LSTM基本原理–遗忘门、输入门、输出门
1.记忆细胞内部流程图
(1)横向:上面是长期记忆的传播,下面是短期记忆的传播。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/838cf0e89acb849753fcee8f5b80d494.png)
(2)纵向:三个门,即三个基本单元
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/49e7fa8bd839bef0acbaf34d6260cbaf.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/0fbf50fe202ae95966dd9fff14b22a8b.png)
(3)遗忘门
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c75d1b75064488539e9f29b5879fcd55.png)
计算比例公式:即计算ft
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/ae83858a305bd20f6b48948bb3cbaa81.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e6abce1d3fbe37230a3fa20c76a54271.png)
(4)输入门
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/ce75c75c0f024f123195bd28908b79e6.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/f77cc63fad9319de069dbd48e7987fd6.png)
(5)更新细胞状态
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2307b78b694c265593db152f4c1bace8.png)
(6)输出门
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/67dfc1f3b954fe1bffe65764a2946990.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4fd0c8de1f09efc2bbedec5d6365ee00.png)
三、Ct和ht都被传到下一个时间步的流程
![](https://i-blog.csdnimg.cn/blog_migrate/51fb7167f6837cfe79bcf19fb55915db.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/775b3c7cb0ef6559e5178858e59e415a.png)
**
四、循环神经网络的梯度问题
**
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/133577b28118c6381b33dd86d53f512b.png)
五、LSTM解决梯度问题