深度学习进阶：自然语言处理入门：第5章 RNN（1）前言

第5章 RNN

​ 到 目 前 为 止， 我 们 看 到 的 神 经 网 络 都 是前 馈 型 神 经 网 络。 前 馈 （feedforward）是指网络的传播方向是单向的。具体地说，先将输入信号传 给下一层（隐藏层），接收到信号的层也同样传给下一层，然后再传给下一 层……像这样，信号仅在一个方向上传播。

虽然前馈网络结构简单、易于理解，但是可以应用于许多任务中。不过， 这种网络存在一个大问题，就是不能很好地处理时间序列数据（以下简称为 “时序数据”）。更确切地说，单纯的前馈网络无法充分学习时序数据的性质（模式）。于是，RNN（Recurrent Neural Network，循环神经网络）便应运而生。

5.1 概率和语言模型

5.1.1  概率视角下的word2vec

CBOW 模型的学习目的是从上下文预测出目标词。

5.1.2  语言模型

语言模型（language model）给出了单词序列发生的概率。

语言模型可以应用于多种应用，典型的例子有机器翻译和语音识别。

5.1.3  将CBOW模型用作语言模型？