10.12使用Spark创建WordCount
10.12.1创建测试文件
在“终端”输入下列命令
#WordCount的数据目录
mkdir -p ~/pythonwork/ipynotebook/data
#切换至WordCount的数据目录
cd ~/pythonwork/ipynotebook/data
#编辑test.txt
gedit test.txt
输入下列内容
10.12.2执行WordCount spark命令
#读取文本文件
textFile = sc.textFile(“data/test.txt”)
#使用flatMap空格符分隔单词,并读取每个单词
stringRDD=textFile.flatMap(lambda line : line.split(" "))
#通过map reduce计算每个单词出现的次数
countsRDD=stringRDD.map(lambda word:(word,1).reduceByKey(lambda x,y :x+y)
#显示结果
countsRDD.collect()