Word Embedding将单词转换为数值词向量，便于机器学习和深度学习模型使用。通过Embedding Layer、Word2Vec和GloVe等算法，实现离散单词到连续向量的转化，同时保留单词间的语义关系。Word2Vec的CBOW和Skip-Gram模型，以及GloVe的全局统计信息利用，是其核心特点。
本文参考自What Are Word Embeddings for Text
简介
Word Embedding可以将word转化为数值型词向量，便于后续机器学习和深度学习模型的训练。并且，word之间的相似性越大，词向量之间的距离越小。
Word Embedding有两大优势：
- 原本离散的word被转化为连续的数值型向量，便于计算。
- 包含更多的信息：因为相似word的词向量在数值上是相近的。
Word Embedding的几种算法
Embedding Layer
借助神经网络(Embedding Layer)进行Word Embedding，神经网络的输入是one-hot的word，输出是词向量。神经网络可以是DNN，也可以是RNN。
这种方法需要非常多的训练数据，如果训练充分的话，效果会比较好。
Word2Vec
Word2Vec是2013年谷歌员工提出的Word Embedding算法，到目前为止，该算法也是Word Embedding流域的第一选择。
Word2Vec不仅能在快速完成词嵌入，而且在词向量中保留word之间的关系。它包含两个子算法：
- CBOW：利用上下文预测当前word
- Skip-Gram：利用当前word预测上下文
最低0.47元/天 解锁文章
2736
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
