李宏毅《机器学习》课程笔记（作业四：RNN）

RNN和半监督学习需要后面补上。

 

 

word embedding是想做一个什么事情呢，是希望把词汇用一个比较短的向量表达出来，因为通常的词汇的表达是通过一个非常长的（词典那么长的）1-of-N向量来表达，这样的表达没有信息，我们希望能用一个短向量（例如10或100维）来表达词汇，就需要每个维度表达一些信息，希望含义相近的词汇他们的向量也比较接近。这是一种无监督学习。

那么怎么做呢？有两种方式，一种是基于计数的，一种是基于预测的。

基于计数的就是看两个词汇同时出现的次数，用两个向量的内积与这个次数的差值作为loss进行学习。基于预测的方法是说，让神经网络学习一个词后面接的词汇的概率，这样都可以利用大量数据把无监督学习转换成有监督学习的形式。