【CS224N 论文精读】Efficient Estimation of Word Representations in Vector Space(2013)
我们提出两种可以从非常大的数据集训练连续向量表示的模型架构。在词相似任务上来衡量这些表示的质量,并将结果与之前基于不同类型的神经网络的表现最好的技术进行比较。我们观察到以更低的计算成本在准确性上有了很大的提高,从16亿单词数据集中学习词向量只要不到一天时间。本文还测试了词向量在语法和语义词的相似性。之前的N-gram模型具有简单性、鲁棒性(在大量数据上的简单模型比在少量数据上的复杂模型表现更好),但是简单的技术在很多任务中受限(很多场景缺乏数据)。单词的分布式表示。基于神经网络的语言模型显著优于。...
原创
2022-07-28 09:00:00 ·
209 阅读 ·
0 评论