李宏毅《Machine Learning》笔记 -- 无监督学习--word embedding

 

1-of-N encoding (one hot)

--> word embedding

count based: 基于词共现 如glove vector

prediction based:

training， 预测下一个词汇。用于language modeling，预测一个句子出现的几率。

取出第一层参数 可作为词向量 不用deep原因 是不需要 不用还可以很快

CBOW 和 skip-gram

multi-lingual embedding

document embedding

semantic embedding

Beyond bag of word  the order of the words cannot be ignored