本文参考自What Are Word Embeddings for Text
简介
Word Embedding可以将word转化为数值型词向量,便于后续机器学习和深度学习模型的训练。并且,word之间的相似性越大,词向量之间的距离越小。
Word Embedding有两大优势:
- 原本离散的word被转化为连续的数值型向量,便于计算。
- 包含更多的信息:因为相似word的词向量在数值上是相近的。
Word Embedding的几种算法
Embedding Layer
借助神经网络(Embedding Layer)进行Word Embedding,神经网络的输入是one-hot的word,输出是词向量。神经网络可以是DNN,也可以是RNN。
这种方法需要非常多的训练数据,如果训练充分的话,效果会比较好。
Word2Vec
Word2Vec是2013年谷歌员工提出的Word Embedding算法,到目前为止,该算法也是Word Embedding流域的第一选择。
Word2Vec不仅能在快速完成词嵌入,而且在词向量中保留word之间的关系。它包含两个子算法:
- CBOW:利用上下文预测当前word
- Skip-Gram:利用当前word预测上下文