14、【李宏毅机器学习（2017）】Unsupervised Learning: Word Embedding（无监督学习：词嵌入）

上一篇博客介绍了无监督学习中的线性降维方法，本篇博客将继续介绍无监督学习在文字中的降维方法——Word Embedding。

---

目录

---

Word Embedding

Word Embedding介绍

Word Embedding希望通过训练大量的材料（结合上下文关系），将词汇描述成一个向量。

• 一种最简单的词汇描述成向量的方法就是1-of-N Encoding方法，假设现在世界上只有下面5个单词，则可以使用5维的向量分别表示一个词汇，但是这种方法不能描述向量之间的关系
• 因此在此基础上进行词汇归类
• 但是直接归类的方法很粗糙，所以进一步提出了Word Embedding方法，每一个词汇用多个维度描述

$\quad$

利用上下文

利用上下文来推断词汇的关系有两种主要的思路——Count based和Perdition based。

Count based

Count based寻找词汇向量$V(\cdot )$的思路就是如果 wi,w