CountVectorizer旨在通过计数来将一个文档转换为向量。当不存在先验字典时,
Countvectorizer作为Estimator提取词汇进行训练,并生成一个CountVectorizerModel
用于存储相应的词汇向量空间。该模型产生文档关于词语的稀疏表示,其表示可以传递
给其他算法,例如LDA。
在CountVectorizerModel的训练过程中,CountVectorizer将根据语料库中的词频排序从
高到低进行选择,词汇表的最大含量由vocabsize超参数来指定,超参数minDF,则指定词
汇表中的词语至少要在多少个不同文档中出现。
#导入相关的库
from pyspark.sql import SparkSession
from pyspark.ml.feature import CountVectorizer
#配置spark
spark = SparkSession.builder.master('local').appName("CountVectorizerDemo").getOrCreate()
#创建DataFrame,可以看成包含两个文档的,迷你语料库
df = spark.createDataFrame([
(0, "a b c".split(" ")),
(1, "a b b c a".split(" "))
], ["id", "words"])
#过CountVectorizer设定超参数,训练一个CountVectorizer,这里设定词汇表的最大量为3,设定词汇表中的词至少要在2个文档中出现过,以过滤那些偶然出现的词汇
cv =CountVectorizer(inputCol="words", outputCol='features', vocabSize=3, minDF=2.0)
#生成一个model
model = cv.fit(df)
#使用这一模型对DataFrame进行变换,可以得到文档的向量化表示
result = model.transform(df)
result.show(truncate=False)
![](https://i-blog.csdnimg.cn/blog_migrate/22ce8dcd06b729663523efea73f31d3c.jpeg)