最好的五一？ 看了三天论文。因为毕竟是劳动节，那我写一写劳动心得吧。
首先解释一下什么叫作语言模型，简单地讲就是计算文字序列的联合概率，即如这个公式进行表示：
先验分布好进行计算，按照n-gram的算法难以有效地表示语言模型，因为没有generality，忽视了语言语义的相似度，采用分布式表示所建立的语言模型往往更好。
1. Bengio
这篇博客回顾了语言模型的基础，包括计算文字序列的联合概率，介绍了Bengio的神经概率语言模型，探讨了数据并行和参数并行在优化softmax层计算性能中的应用，并提到了Pennington等人的GloVe模型以及Mikolov的Word2Vec中的负采样和层次softmax等技术。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
