Deepwalk =》 word2vec =》 node2vec
One-Hot
word embedding
将每一个单词映射为低维向量
词的个数 = 词汇表向量的维度
- 输入是词汇表向量,当看到一个训练样本时,对于样本中的每一个词,就把相应的在词汇表中出现的位置的值置为1,否则置为0。
- 输出也是词汇表向量,对于训练样本的标签中的每一个词,就把相应的在词汇表中出现的位置的值置为1,否则置为0。
- 对所有的样本,训练这个神经元网络。
- 收敛之后,将从输入层到隐含层的那些权重,作为每一个词汇表中的词的向量。
CBOW模式
适合于小型数据库
Skip-Gram模式
在大型语料中表现更好
加速
Hierarchical Softmax
Negative Sampling