1. What?
将词表示成数学向量,因此属于表示学习范畴,应用于自然语言处理,很多自然语言处理的模型都改用词向量表示,作为很多文本的输入表示。
2.Where?
介绍word embeding前需要先说明语言模型,最早语言模型通过条件概率表示句子的生成概率,之后又有N-gram模型,为了表示每个词用one-hot的方案,但是该方案维数太大且不易于比较相似度或语义表示,因此将概率语言模型与神经网络结合形成了NNLM模型,最早的是Bengio学习。
3.How?
Google的Word2Vec有两种模型CBOW预测当前词出现概率,Skip-gram逆转CBOW因果,利用当前词预测上下文。
暂时写这么多额。。。。。