1. 在本地路径下创建文本文件 /test/words.txt,内容如下:
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
python java cpp c hello world hadoop hdfs
2. 运行spark-shell
spark-shell
3. 读取words.txt,使用命令:
val wc1 = sc.textFile("file:///test/words.txt")
4. 使用空格分割文本,使用命令:
val wc2 = wc1.map(item => item.split(" "))
5. 将4.中所得结果拍平,使用命令:
val wc3 = wc2.flatMap(item => item)
6. 将5.中结果转换为键值对,使用命令:
val wc4 = wc3.map(item => (item,1))
7. 将6.中结果聚合、相加,使用命令&#x