![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
孤独的挑灯者
这个作者很懒,什么都没留下…
展开
-
spark转换算子 k-v类型数据的使用
partitionBy //自定义类继承分区父类 class MyPartition(number:Int) extends Partitioner{ override def numPartitions: Int = number override def getPartition(key: Any): Int = { if(key.isInstanceOf[Int]){ val keyInt: Int = key.asInstanceOf[Int] if (key原创 2020-09-24 21:29:36 · 598 阅读 · 0 评论 -
spark转换算子 交并差集的使用 以及拉链zip
交并差集的操作 val rdd1: RDD[Int] = sc.makeRDD(1 to 4) val rdd2: RDD[Int] = sc.makeRDD(4 to 8) //交集 // rdd1.intersection(rdd2).collect().foreach(println) //并集 // rdd1.union(rdd2).collect().foreach(println) //差集 rdd1.subtract(rdd2).colle原创 2020-09-24 21:11:21 · 254 阅读 · 0 评论