如何生成PairRDD

最新推荐文章于 2022-07-01 09:35:50 发布

tuntunwang

最新推荐文章于 2022-07-01 09:35:50 发布

阅读量1.4k

点赞数

分类专栏： spark 文章标签： pairRDD spark scala shell 转换

本文链接：https://blog.csdn.net/tuntunwang/article/details/51356481

版权

spark 专栏收录该内容

23 篇文章 0 订阅

订阅专栏

rdd很容易生成,但是有很多操作必须得pairRDD来做

那么怎么生成PairRDD呢？主要是scala的隐式转换

数据 pair_testscala> data_pair_2.keys.take(5)
res12: Array[(String, String)] = Array((10,100), (11,100), (12,100), (13,100), (14,100))

10,100,12,201505
11,100,12,201505
12,100,12,201505
13,100,12,201505
14,100,12,201505
15,100,12,201505

shell下代码演示

scala> val data=sc.textFile("/home/wangtuntun/pair_test").map(_.split(","))
data: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[10] at map at <console>:27

scala> val data_pair_1=data.map( x=>( (x(0)),(x(1),x(2),x(3)) ) )
data_pair_1: org.apache.spark.rdd.RDD[(String, (String, String, String))] = MapPartitionsRDD[11] at map at <console>:29

scala> data_pair_1.keys.take(5)
res10: Array[String] = Array(10, 11, 12, 13, 14)

scala> val data_pair_2=data.map( x=> ( (x(0),x(1)),(x(2),x(3)) ) )
data_pair_2: org.apache.spark.rdd.RDD[((String, String), (String, String))] = MapPartitionsRDD[15] at map at <console>:29