word2vec

Deepwalk =》 word2vec =》 node2vec

One-Hot

word embedding

将每一个单词映射为低维向量

词的个数 = 词汇表向量的维度

• 输入是词汇表向量，当看到一个训练样本时，对于样本中的每一个词，就把相应的在词汇表中出现的位置的值置为1，否则置为0。
• 输出也是词汇表向量，对于训练样本的标签中的每一个词，就把相应的在词汇表中出现的位置的值置为1，否则置为0。
• 对所有的样本，训练这个神经元网络。
• 收敛之后，将从输入层到隐含层的那些权重，作为每一个词汇表中的词的向量。

CBOW模式

适合于小型数据库

Skip-Gram模式

在大型语料中表现更好

加速

Hierarchical Softmax
Negative Sampling