说明:此处介绍的是pair RDD特有的操作,前面介绍的基础RDD操作,也适用pair RDD。
一、创建pair RDD
1、将普通RDD转换成pair RDD时,使用map()实现。
pairs = lines.map(lambda x: (x.split(" ")[0], x)) #在Python中使用第一个单词作为键创建出一个pair RDD,如图:
二、Pair RDD的转化操作
(以键值对集合{(1, 2), (3, 4), (3, 6)}为例)
1、reduceByKey(func) :合并具有相同键的值。
2、groupByKey() :对具有相同键的值进行分组,常用于单个数据分组,多个数据按键分组,参考下面函数cogroup( )
上图最后结果:[(1,[2]),(3,[4,6])]
上面collect()是一个ResultIterable结果集迭代对象,我使用