【Deep Learning学习笔记】NEURAL NETWORK BASED LANGUAGE MODELS FOR HIGHLY INFLECTIVE LANGUAGES_google2009

题目：NEURAL NETWORK BASED LANGUAGE MODELS FOR HIGHLY INFLECTIVE LANGUAGES

作者：Mikolov

发表于：ICASSP 2009

主要内容：

用神经网络训练Ngram模型概率，并融合到ngram n-best后处理任务中，取得语音识别准确率提升。看这篇文章的动机是因为上一篇文章“Efficient Estimation of Word Representations in Vector Space_google2013”引用了他。

这篇文章的神经网络就是普通的BP网络，用V（词表大小）的向量来表示一个词，即只有当前词索引的位置为1，其余均为0。用这样的神经网络来训练Ngram概率。网络结构如下：

作者在训练过程中，对于低频词进行合并，当做是一个词语进行训练（如：出现次数小于5的词），这样有效减少了词表大小，降低训练复杂度，提升速度。

训练好神经网络之后，与ngram模型相结合：用ngram模型先算出n-best结果，然后用神经网络进行后处理打分。实验显示，效果有所提升。