笔记：ML-LHY-14: Unsupervised Learning - Word Embedding

这节课主要介绍Word Embedding，有2种方法

1. Count based：和LSA类似，用GD求隐含向量表示。
2. Prediction based：利用文章中句子的词语顺序作为标签，训练一个神经网络。但是顺序是存在文章中的，这是无监督学习
   pdf 视频

Word Embedding

Count based

这种方法和LSA类似：

如果$w_i$和$w_j$经常成对出现，那么用一个向量表示的$V(w_i)$和$V(w_j)$内积的值就会比较大。所以和LSA类似，可以用GD求隐含向量表示。

Prediction based

这个方法思想很巧妙，利用文章中句子的词语顺序作为标签，训练一个神经网络，大致训练过程如下：

那么这个网络我们并不是要网络的输出，而是用第一个隐藏层的输出作为一个词语的隐含向量表示：

上面就只有1个词语$w_{i-1}$，监督标签是$w_i$：

上面就只有2个词语$w_{i-2}$、$w_{i-1}$，监督标签是$w_i$，当然也可以用>2个词输入，但是一般不会超过10个。

参数进行共享，1. 这样可以避免参数过多 2. 这样不会考虑顺序：

确保$w_i$和$w_j$一样，参数更新：
$$\begin{array}{l}{w}_i\leftarrow w_i-\eta \frac{\partial C}{\partial w_i}-\eta \frac{\partial C}{\partial w_j}\\ w_j\leftarrow w_j-\eta \frac{\partial C}{\partial w_j}-\eta \frac{\partial C}{\partial w_i}\end{array}$$

还有其他变种，各有优势：
做完Word Embedding后，在2D上可视化显示我们会得到一些关系：

会有这种关系：

因为：

在cv领域也是可以利用Embedding方法。如果用CNN分类器，再推理时，只能推理到指定的类上。
而使用Embedding，我们可以知道距离哪些类是比较近的。

以上参考李宏毅老师视频和ppt，仅作为学习笔记交流使用