通俗易懂的Word Embeddings

通俗易懂的Word Embeddings

  Word Embeddings是机器学习领域最酷的事情之一，因为它可以从海量的文本数据中挖掘出单词之间纷繁复杂的联系。例如你可以在不给定任何先验知识的情况下，利用Word Embeddings学习到所有和颜色相关的词汇。为了方便理解，我们先给出一个简单的例子：

I painted the bench _______

  不难发现上述例句中缺少一个单词，显然这里需要填入一个有关色彩的词汇，例如：

I painted the bench red
I painted the bench green

  甚至我们可以说这里所填入的内容很可能与颜色有关，但不幸的是，这里也可以填入和色彩无关的单词，比如：

I painted the bench today

  但不管怎么样，语境与语义其实是息息相关的。所以上述的例子中，我们在空白地方填入不同的单词，并且会假设这些单词是相关的。
  除了以上情况之外，还有另外一种方式可以利用语境来帮助我们理解两个单词之间的相关性。若两个单词通常出现在同样的语境中
，我们便认为这两个单词是有关联的。我们给出3个不同的句子来帮助我们理解上述内容：

Donald Trump is the United States president.
I laughed at his joke.
His joke didn't make me laugh.