RNN(循环神经网络)

1.全连接神经网络的局限性

全连接神经网络虽然可以对一个事物进行预测，但是前一条数据的输入和后一条数据的输入是完全独立的，这就使得面对一些具有序列信息的数据无法处理。

比如，我们说一句话，每个字在这句话中都扮演着不同的角色，你不可能单个拉出来理解。

2.RNN的主要形式：

在这个图中：x代表当前状态下的输入，y代表当前状态下的输出。

h 代表接收到的上一个节点的输入，h'代表下一个节点的输入

我们可以看到y的值取绝与h'，x。

这是一个单元，我们把它序列化就可以获得如下形式：

3.特殊的RNN（LSTM（长短期记忆））

对于普通的RNN存在一定的局限性，虽然它可以记住之前数据的信息，但是我们不可能对待任何问题全部从零思考。

假如我们现在需要通过一句话对它最后一个词进行预测。“我喜欢吃苹果。”，我们可以通过以往的一些数据训练而预测出最后一个字为“果”，这是一个很短的句子，假如我说了很多话，“今天的天气很热，我打了一下午的篮球，想要吃我喜欢的苹果。”这么长的一句话，我要预测最后一个字，数据很长，这可