RDD用法与实例（八）reduceByKey 用法,sortbykey，sortby

水母君98

于 2020-09-27 16:20:43 发布

阅读量822

点赞数 1

分类专栏：大数据基础文章标签： python spark 大数据

本文链接：https://blog.csdn.net/m0_37754282/article/details/108827672

版权

本文介绍了Spark中RDD的reduceByKey和sortByKey操作。通过水果数据集，展示了如何使用reduceByKey统计字母长度相同的水果出现次数，以及如何使用sortByKey对结果进行排序。还给出了不同数据情况下reduceByKey的词频统计应用和挑出字母数量大于6的单词的实例。

摘要由CSDN通过智能技术生成

一、数据集

fruits.txt

apple
banana
canary melon
grap
lemon
orange
pineapple
strawberry

二、赋值并合并相同key

例1

fruits = sc.textFile('/Users/huangluyu/data/fruits.txt')
numFruitsByLength = fruits.map(lambda fruit: (len(fruit), 1)).reduceByKey(lambda x, y: x + y)
print(numFruitsByLength.take(10))

对字母长度相同的水果进行一次统计。结果：

[(6, 2), (12, 1), (4, 1), (10, 1), (5, 2), (9, 1)]

内部执行顺序：