word2vec的spark实现_Spark ML Word2Vec算法分析与代码实战

一.简介

Word2Vec是一个Estimator代表文档的单词序列并训练一个 Word2VecModel。该模型将每个单词映射到唯一的固定大小的向量。使用Word2VecModel 文档中所有单词的平均值将每个文档转换为向量；然后，可以将此向量用作预测，文档相似度计算等的功能。

词向量映射

Word2Vec计算单词的分布式矢量表示。分布式表示的主要优点是向量空间中相似的词很接近，这使得对新颖模式的泛化更加容易，并且模型估计更加可靠。分布式矢量表示被证明在许多自然语言处理应用程序中很有用，例如命名实体识别，歧义消除，解析，标记和机器翻译。

词与词

二.模型

在Word2Vec的实现中，使用了跳过语法模型。跳过语法的训练目标是学习擅长预测同一句子中上下文的单词向量表示。在数学上，给出训练的顺序，skip-gramm模型的目标是最大化平均数似然w1,w2,…,wT。