本文档详述了如何使用Spark创建WordCount，包括创建测试文件、使用flatMap和map处理数据，以及reduceByKey计算单词频率。通过实例解析sc.textFile、flatMap与map的区别，并展示了完整的WordCount操作流程。
10.12使用Spark创建WordCount
10.12.1创建测试文件
在“终端”输入下列命令
#WordCount的数据目录
mkdir -p ~/pythonwork/ipynotebook/data
#切换至WordCount的数据目录
cd ~/pythonwork/ipynotebook/data
#编辑test.txt
gedit test.txt
输入下列内容
10.12.2执行WordCount spark命令
#读取文本文件
textFile = sc.textFile(“data/test.txt”)
#使用flatMap空格符分隔单词，并读取每个单词
stringRDD=textFile.flatMap(lambda line : line.split(" "))
#通过map reduce计算每个单词出现的次数
countsRDD=stringRDD.map(lambda word:(word,1).reduceByKey(lambda x,y :x+y)
#显示结果
countsRDD.collect()
最低0.47元/天 解锁文章
1782
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
