Word Embedding的学习

Word Embedding的概述：

根据之前对One Hot的介绍，我们发现它不能够表现出词语之间的相似度，因此提出Word Embedding。

首先，我们提一下分布式表示（distributed representation）：若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量（One Hot）。

而Word Embedding（词嵌入）是基于神经网络的分布式表示，也可称之为词向量，是将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。总的来说，它是一个词的低维向量表示。在有一个词向量之后，各种基于向量的运算就可以实施，如用向量之间的相似度来度量词之间的语义相关性。它是基于分布式假设，即出现在相同上下文（context）下的词意思应当相近。

 

其有两种实现方法：

· word2vec:从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。

      skip-