学习笔记——A Neural Probabilistic Language Model
该论文是本人读研后看的第一篇论文,而且阅读时间较短,笔记可能比较简单。且参考了一些大佬的笔记,具体就不列出来了。
背景
该论文提出了NNLM模型,即Nerual Network Language Model,开创了用神经网络解决网络模型的先河。
第一作者Bengio先生在深度学习方面有极深的造诣,被认为深度学习“三巨头”之一。
核心内容
传统的n-gram模型存在维数灾难问题,作者提出,为解决该问题,可以学习使用词的分布式表示,允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息。
NNLM的优
原创
2021-10-17 09:28:58 ·
201 阅读 ·
0 评论