本文详细介绍了Spark中Pair RDD的创建、转化和行动操作，包括reduceByKey、groupByKey、combineByKey、mapValues、flatMapValues、sortByKey、subtractByKey、join、rightOuterJoin、leftOuterJoin和cogroup等操作，并通过具体示例进行解析。
说明：此处介绍的是pair RDD特有的操作，前面介绍的基础RDD操作，也适用pair RDD。
一、创建pair RDD
1、将普通RDD转换成pair RDD时，使用map()实现。
pairs = lines.map(lambda x: (x.split(" ")[0], x)) #在Python中使用第一个单词作为键创建出一个pair RDD，如图：
二、Pair RDD的转化操作
（以键值对集合{(1, 2), (3, 4), (3, 6)}为例）
1、reduceByKey(func) ：合并具有相同键的值。
2、groupByKey() ：对具有相同键的值进行分组，常用于单个数据分组，多个数据按键分组，参考下面函数cogroup( )
上图最后结果：[(1,[2]),(3,[4,6])]
上面collect()是一个ResultIterable结果集迭代对象，我使用
最低0.47元/天 解锁文章
3906
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
