SparkRDD算子--partitionBy算子

最新推荐文章于 2023-08-16 14:35:13 发布

寒暄

最新推荐文章于 2023-08-16 14:35:13 发布

阅读量1.5k

点赞数

分类专栏： # ---Spark-Core Spark-MLlib 文章标签： spark

本文链接：https://blog.csdn.net/qq_41106844/article/details/107728307

版权

---Spark-Core Spark-MLlib 专栏收录该内容

50 篇文章 5 订阅

订阅专栏

语法

val newRdd = oldRdd1.partitionBy(new org.apache.spark.HashPartitioner(partitions))

partitions 表示分区数

源码

def partitionBy(partitioner : org.apache.spark.Partitioner) : org.apache.spark.rdd.RDD[scala.Tuple2[K, V]] = { /* compiled code */ }

作用

对K-V类型的RDD重新分配分区。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // partitionBy算子
        val arrayRdd = sc.makeRDD(Array((1,"张三"),(2,"李四"),(3,"王五"),(4,"刘六")),4)

        val partitionByRdd = arrayRdd.partitionBy(new org.apache.spark.HashPartitioner(2))
        println(partitionByRdd.getNumPartitions)
    }
}



输入
(1,"张三"),(2,"李四"),(3,"王五"),(4,"刘六")
输出
2