循环神经网络学习笔记

RNN是为了处理序列数据而生，能够顺序获取序列之间的关系，但是也存在处理过长序列会引起梯度消失、梯度爆炸，信息丢失问题。
为了解决RNN的问题，LSTM就诞生了，LSTM主要是通过遗忘门，输入门，输出门来解决这些问题。
遗忘门主要是来控制记住什么信息，忘记什么信息。比如我今天下午去游泳，对于泳字来说只有游字是重要的，前面的几个字不重要，这时遗忘门就要告知泳字前面几个字是不重要的。
输入门主要是用来确定当前时刻的输入有哪些信息保存下来，比如我今天下午去游，对于此时的输入来说我今天下午去是不需要的只要把游字保存下来。
遗忘门+输入门就等于把序列前期保存的记忆和当前的记忆相加，保存在一起
输出门就是控制（遗忘门+输入门）的输出结果有多少输出到当前状态，成为下个字的输入，比如（遗忘门+输入门）的输出结果是我下午去游，通过输出门来决定是传我下午去游这几个字还是传游这个字去到下一个字当输入，即Ht

RNN简单视频学习笔记：
这个代码讲解应该放到LSTM讲解之后进行最合适，因为这个代码讲解例子是基于LSTMCELL的，其实就是证明遗忘门、输入门、输出门的作用。证明LSTM能记住应该记住的，忘记应该忘记的。
LSTM_Minist单