循环神经网络(Recurrent Neral Networks)介绍
人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点,看起来也像是一种巨大的弊端。例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。RNN 解决了这个问题。RNN 是包含循环的网络,允许信息的持久化。
如右图:
A正在读取某个输入 xt,并输出一个值 ht。
循环可以使得信息可以从当前步传递到下一步。这些循环使得 RNN 看起来非常神秘。
下图便是一个典型的RNNs: