【Spark实战系列】spark 中 repartition 和 partitionBy 的源码分析

最新推荐文章于 2023-01-01 15:45:30 发布

JasonLee实时计算

最新推荐文章于 2023-01-01 15:45:30 发布

阅读量1.8w

点赞数 3

分类专栏： Spark 实战系列文章标签： spark reparation partitionBy 重分区区别

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/84328928

版权

Spark 实战系列专栏收录该内容

41 篇文章 289 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文详细探讨了Spark中的repartition和partitionBy算子，重点在于它们在数据重分区时的行为差异。repartition采用HashPartitioner但分区结果较随机，而partitionBy确保相同key的数据被分配到同一分区，尤其适用于PairRdd。通过源码分析，揭示了repartition实际上调用coalesce，并展示了partitionBy创建ShuffledRDD的过程。对于更多Spark和Flink内容，作者提供了交流平台。

摘要由CSDN通过智能技术生成

今天来介绍一下spark中两个常用的重分区算子,repartition 和 partitionBy 都是对数据进行重新分区，默认都是使用 HashPartitioner，区别在于partitionBy 只能用于 PairRdd，但是当它们同时都用于 PairRdd时,效果也是不一样的,下面来看一个demo.

package test

import org.apache.log4j.{Level, Logger}
import org.apache.spark.{HashPartitioner, SparkConf, SparkContext, TaskContext}

/**
  * repartition和partitionBy的区别
  */
object partitionDemo {

  Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("localTest").setMaster("local[4]")
    val sc = new SparkContext(conf)
    //设置4个分区;
    val rdd = sc.parallelize(List("hello", "jason", "what&#