Word Embedding模型: 词、短语及它们的组合的分布式表示
摘要 最近引入的连续Skip-gram模型是学习可以高质量分布式向量表示的有效方法,而这种分布式向量表示可以刻画大量精确的句法和语义关系。本文我们介绍了Skip-gram模型的多种扩展,它们可以提升向量的质量和训练速度。通过对频繁词进行重复采样我们可以极大地提升学习速度,学习到更有规律的单词表示。我们还描述了一种分层softmax的简单代替方案称作负抽样。 单词表示的内在局限是它们对单词顺序
翻译
2016-09-23 10:03:02 ·
4770 阅读 ·
3 评论