词向量Word Embedding小结

如何把词转换为向量

给定任何一个或者一组单词，我们都可以通过查询这个excel，实现把单词转换为向量的目的，这个查询和替换过程称之为Embedding Lookup。

在实际场景中，我们需要把Embedding Lookup的过程转换为张量计算

 如何让向量具有语义信息

事实上，在自然语言处理领域，使用上下文描述一个词语或者元素的语义是一个常见且有效的做法。我们可以使用同样的方式训练词向量，让这些词向量具备表示语义信息的能力。

• CBOW：通过上下文的词向量推理中心词。
• Skip-gram：根据中心词推理上下文。

Skip-gram的理想实现 

在理想情况下，我们可以使用一个简单的方式实现skip-gram。即把需要推理的每个目标词都当成一个标签，把skip-gram当成一个大规模分类任务进行网络构建，过程如下：

1. 声明一个形状为[vocab_size, embedding_size]的张量，作为需要学习的词向量，记为W0W_0W0​。对于给定的输入VVV，使用向量乘法，将VVV乘以W0W_0W0​，这样就得到了一个形状为[batch_size, embedding_size]的张量，记为H=V×W0H=V×W_0H=V×W0​。这个张量HHH就可以看成是经过词向量查表后的结果。
2. 声明另外一个需要学习的参数W1W_1W1​，这个参数的形状为[embedding_size, vocab_size]。将上一步得到的HHH去乘以W1W_1W1​，得到一个新的tensor O=H×W1O=H×W_1O=H×W1​，此时的OOO是一个形状为[batch_size, vocab_size]的tensor，表示当前这个mini-batch中的每个中心词预测出的目标词的概率。
3. 使用softmax函数对mini-batch中每个中心词的预测结果做归一化，即可完成网络构建。

Skip-gram的实际实现 

假设有一个中心词ccc和一个上下文词正样本tpt_ptp​。在Skip-gram的理想实现里，需要最大化使用ccc推理tpt_ptp​的概率。在使用softmax学习时，需要最大化tpt_ptp​的推理概率，同时最小化其他词表中词的推理概率。之所以计算缓慢，是因为需要对词表中的所有词都计算一遍。然而我们还可以使用另一种方法，就是随机从词表中选择几个代表词，通过最小化这几个代表词的概率，去近似最小化整体的预测概率