python实现lda聚类_python – 从TF-IDF到spark,pyspark中的LDA聚类

我正在尝试对存储在格式密钥,listofwords中的推文进行聚类

我的第一步是使用数据框提取单词列表的TF-IDF值

dbURL = "hdfs://pathtodir"

file = sc.textFile(dbURL)

#Define data frame schema

fields = [StructField('key',StringType(),False),StructField('content',StringType(),False)]

schema = StructType(fields)

#Data in format ,

file_temp = file.map(lambda l : l.split(","))

file_df = sqlContext.createDataFrame(file_temp, schema)

#Extract TF-IDF From https://spark.apache.org/docs/1.5.2/ml-features.html

tokenizer = Tokenizer(inputCol='content', outputCol='words')

wordsData = tokenizer.transform(file_df)

hashingTF = HashingTF(inputCol='words',outputCol='rawFeatures',numFeatures=1000)

featurizedData = hashingTF.transform(wordsData)

idf = IDF(inputCol='rawFeatures',outputCol='features')

idfModel = idf.fit(featurizedData)

rescaled_data = idfModel.transform(featurizedData)

indexer = StringIndexer(inputCol='key',outputCol='KeyIndex')

indexed_data = indexer.fit(rescaled_data).transform(rescaled_data).drop('key').drop('content').drop('words').drop('rawFeatures')

但现在我无法找到一种好方法将我的数据帧转换为前一个示例或this example中提出的格式

如果有人能指出我正确看待的地方,或者如果我的方法有误,可能会纠正我,我将非常感激.

我认为从一系列文档中提取TF-IDS向量并将它们聚类应该是一个相当经典的事情,但我找不到一个简单的方法来做到这一点.