本节课主要讲了无监督学习——word embedding的一些基本概念
1.word embedding(word2vector)
传统的1 of N encoding(或者one-hot独热编码)的表示法过于稀疏,不可取。所以考虑将每个word映射到另一个空间里去
machine通过阅读很多documents来理解语义,从而可以达到word embedding的目的
2.How about Auto-encoder?
auto-encoder好像只是简单的将word编个码,降维,可能相近的词还会离得很远。而word embedding目的是意思相近离的很近,需要进行一些上下文的理解。比如:
ma 520宣誓就職
cai 520宣誓就職
ma和cai都是名字,很接近~
3.常见方式
count-based:如果两个词频繁的同时出现,那么它们在空间中相近
prediction-based:考虑了上下文
4.prediction-based
基本思想:
上一个词为输入,下一个词为输出,中间层作为word vector