Spark2.4.5词频统计(python)

使用jupyter notebook作为交互工具，python语言写。

代码

sc.textFile()用于加载文件数据。

words = sc.textFile('/data/word.txt')

结果：

/data/word.txt MapPartitionsRDD[3] at textFile at NativeMethodAccessorImpl.java:0

这是由于Spark的惰性操作。
添加行动操作：

words.first()

词频统计：

wordCount = words.flatMap(lambda line:line.split(" ")).map(lambda word:(word,1)).\
reduceByKey(lambda a, b: a+b)
wordCount.collect()

结果：

[('is', 42),
 ('sheet', 3),
 ('material', 6),
 ('produced', 7),
 ('mechanically', 2),
 ('and/or', 1),
 ('cellulose', 3),
 ('derived', 3),
 ('rags,', 1)]

textFile.flatMap()操作把多个单词集合“拍扁”到一个大的单词集合；
单词集合执行map()操作。
经过map，得到RDD，每个元素是（key,value）形式。最后执行reduceByKey()按照key进行分组，相同key的value相加。

---

参考：

1. Spark2.1.0+入门：第一个Spark应用程序：WordCount(Python版);