PySpark 利用Word2Vector计算词向量的相似度

最新推荐文章于 2024-06-05 17:03:13 发布

是杰夫呀

最新推荐文章于 2024-06-05 17:03:13 发布

阅读量2.6k

点赞数

分类专栏： PySpark 文章标签： Spark

本文链接：https://blog.csdn.net/sinat_26811377/article/details/101269294

版权

该博客介绍了如何利用PySpark的Word2Vector功能，计算DataFrame中元素的词向量相似度，从而进行文本分析。

摘要由CSDN通过智能技术生成

1. 计算 list 中各元素的相似度

输入（DataFrame格式）：

+--------------------+
|            sentence|
+--------------------+
|[a, b, a, b, a, b...|
|[a, b, a, b, a, b...|
+--------------------+

PySpark代码实现：

from pyspark.sql import SQLContext
from pyspark.context import SparkContext
from pyspark.ml.feature import Word2Vec
from pyspark.sql.functions import format_number as fmt

sc = SparkContext("local", "WordCount")  # 初始化配置
sqlContext = SQLContext(sc)
sent = ("a b " * 100 + "a c " * 10).split(" ")  # 输入list
doc = sqlContext.createDataFrame([(sent,), (sent,)], ["sentence"])  # 输入DataFrame
word2Vec = Word2Vec(vectorSize=5, seed=42, inputCol="sentence", outputCol="model")
model = word2Vec.fit(doc)
model.get