RNN

CBOW的表示允许将任意长度的序列编码成特定维度的向量。然而，CBOW的表示非常局限并且强制性地忽略了特征的序关系。
卷积神经网络(RNN)同样允许将序列编码成特定维度的向量。尽管卷积神经网络得到的表示由于对词序较敏感而优于CBOW，但这种序敏感程度大多仅限于局部模式内，并没有考虑到模式间的顺序，从而使得这种表示与真正的序列存在较大差距（层次化和膨胀卷积结构的确有可能捕获序列内部相对对长距离的依赖）。
循环神经网络(RNN)可以将任意长度的序列表示成定长的向量，同时关注输入的结构化属性。循环神经网络，尤其是那些带有门结构如LSTM和GRU的各种RNN结构，在捕获线性输入的统计规律方面非常有效，甚至可以称其为深度学习对统计自然语言处理工具集的最大贡献。
将RNN描述成一种抽象形式：一个将序列输入翻译成定长向量的接口，其得到的定长向量可进一步接入到更大规模的网络中。不同的结构将RNN模块化的方式是不同的。
RNN允许语言模型不依赖于马尔可夫假设，并将完整的句子历史（前面的所有单词）作为下一词的条件。这一特性为条件生成模型开辟了一条新的途径，即语言模型可以作为一个以某些其他信号作为条件的生成器。
使用RNN作为传感器使得我们可以放宽传统语言模型和HMM标签器中的马尔可夫假设，给定整个预测历史作为条件输入。
biRNN则放宽了固定窗口大小的假设，允许在序列内部向前或者向后看任意远的距离。