《Distributed Representations of Words and Phrases and their Compositionality》论文阅读笔记
1.论文的贡献
对现有的Skip-gram model进行拓展,提高词向量的质量和学学习速度。
作者提出了创新方法:
通过对常用词的部分采样加快训练速度以及提高词向量的训练质量。
提出了negative sampling作为hierarchical softmax的替代方法。
2.前人的主要贡献
Mikolov 提出了Skip-gram model,这个模型能够快速地学习得到高质量的词向量,因为相较于传统使用神经网络学习词向量的模型,Skip-gram不涉及稠密矩阵的相乘。并且学习得到的词向量能够通过
原创
2020-11-10 11:15:39 ·
254 阅读 ·
0 评论