本文介绍了几篇关于语言模型的重要论文，包括Bengio的Neural Probabilistic Language Model，该模型通过分布式表示解决维度灾难问题，并兼顾词的相似性。接着提到了Three new graphical models，探讨了受限玻尔兹曼机和log-bilinear语言模型。最后，讨论了Recurrent neural network based language model，这是一种改进的模型，用于更高效的语言建模。
1.A Neural Probabilistic Language Model
www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
Begio的一篇文章，建立语言模型根本的问题是维度灾难，为了解决这个问题使用N-gram，但N-gram的问题是对于训练集中没有出现的句子，概率很小，所以要把N取得小，这样有两点问题：1.上下文较长的情况没有考虑；2.没有考虑词与词之间的相似性
文章提出一个模型同时学习：1.词的分布式表示（减少维度、并考虑了相似性）2.语言概率模型
模型图：
loss function是最大化log likelihood，加正则化项：
2.Three new graphical models for statistical language modelling
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
