【小白记录深度学习】-循环神经网络

循环神经网络与卷积神经网络一样具有很长的研究历史，作为传统的神经网络，有必要了解循环神经网络的原理。循环神经网络与卷积神经网络都源自多层感知机，可以说神经网络都是对多层感知机算法的改进。卷积神经网络能有效地处理空间消息，而循环神经网络能有效地处理序列消息。

序列

序列信息指有先后的信息，先后可以指时间先后也可以指逻辑先后，例如音乐、语音、文本等信息都是序列信息。

自回归模型

自回归模型使用来预测，然而，在现实情况下是相当长的序列，我们截取靠近的部分(a为一个大于1的常数）。通俗一点来说，就是靠以往的观测值来预测之后的某个值，由于序列预测的是序列本身，因此叫做自回归模型。

循环神经网络通常用于语言模型的建立。为了训练语言模型，我们需要计算单词出现的概率，以及给定几个单词后出现某个单词的概率，前者为单个单词出现的概率，后者为连续单词对出现的概率。这些概率本质上就是语言模型的参数，语言模型简单来说就是一个概率模型。