《Distributed Representations of Words and Phrases and their Compositionality》阅读笔记

本文提出了原始Skip-gram model的几个扩展。

本文展示了在训练过程中通过对频词的次采样会导致显著的加速（大约2x-10x），同时也会提升小部分频词表征的准确率。另外，本文提出一个简化的多样性NCE（Noise Contrastive Estimation）去训练Skip-gram模型，这比之前工作中使用的更复杂的分层softmax有着更快的训练和更好的表示频词。