[NLP论文阅读] The Fixed-Size Ordinally-Forgetting Encoding Method for Neural Network Language Models

论文原文：The Fixed-Size Ordinally-Forgetting Encoding Method for Neural Network Language Models

引言

这篇文章提出了一种学习不定长序列表示的方法，并将该方法用于前反馈神经网络的语言模型(feedforward neural network language models, FNN-LMs)，得到了不错的实验数据。作者通过用FOFE编码的序列替换FNN-LMs中原有的输入层实现了对FNN语言模型的改进。

Fixed-size Ordinally Forgetting Encoding

给定词表大小(vocabulary size)为K，FOFE使用one-hot编码来表示，每一个单词，即一个K维向量来表示单词。FOFE使用下列公式对不定长序列进行编码：
$z_t=\alpha*z_{t-1}+e_t (1\leq t\leq T)$
其中，$z_t$表示从输入序列中由第一个单词$w_1$直到第t个单词$w_t$组成的子序列的FOFE编码(假设$z_0=0$)，$\alpha$是forgeting factor(常数)，