spark任务运行过程repartition和coalesce

已于 2022-07-23 16:48:38 修改
阅读量642 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据 hadoop
于 2020-09-02 21:48:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013200380/article/details/108367462
版权

文章目录

简介

这里主要想要探究一下spark的任务的partition的默认的机制，这里只是使用样例做了针对性的测试，并没有从源码角度来进行阐述

测试使用了以下的代码进行测试
分为了3个代码方式

  1. 不做任何干预
  2. 使用repartition的方式调整partition的数量
  3. 使用coalesce 的方式调整partition的数量

先贴一下代码，方便对比

1. 不做任何干预的代码

hdfs:///user/daily/20200828/ 下有100个大小为180M左右的parquet文件


public class UserProfileTest {

    static String filePath = "hdfs:///user/daily/20200828/*.parquet";
    public static void main(String[] args) {
        SparkConf sparkConf = new SparkConf()
                .setAppName("user_profile_test")
                .set(ConfigurationOptions.ES_NODES, "")
                .set(ConfigurationOptions.ES_PORT, "")
                .set(ConfigurationOptions.ES_MAPPING_ID, "uid");

        SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();
        Dataset<Row> userProfileSource = sparkSession.read().parquet(filePath);
        userProfileSource.count();
        userProfileSource.write().parquet("hdfs:///user/daily/result20200828/");
    }
}

2. 使用repartition的方式调整partition的数量


        userProfileSource.repartition(20).count();
        userProfileSource.repartition(10).write().parquet("hdfs:///user/daily/result2020090201/");

3. 使用coalesce 的方式调整partition的数量

        userProfileSource.coalesce(20).count();
        userProfileSource.coalesce(10).write().parquet("hdfs:///user/daily/result2020090202/");

2. 默认情况job图

在这里插入图片描述

1. job0 stage图

在这里插入图片描述

1. stage0详情

可以看出这个stage耗时比较短，大部分的时间还用在传输task代码本身了

在这里插入图片描述

2. job1 stage图

在这里插入图片描述

1. stage1详情

在这里插入图片描述

3. job2 stage图

在这里插入图片描述

1. stage2详情

在这里插入图片描述
在这里插入图片描述

2. stage3详情

在这里插入图片描述

4. job3 stage图

在这里插入图片描述

1. stage4详情

在这里插入图片描述
在这里插入图片描述

3. repartition job图

在这里插入图片描述

1. job0 stage图

2. job1 stage图

3. job2 stage图

可以看到这个时候job2有三个stage，比默认的情况多了一个stage，这个stage是shuffle的过程
在这里插入图片描述

1. stage2的详情

当前stage主要做的任务就是repartition 就是进行分区的重新分配，该阶段主要进行shuffle write ,为下一个stage的使用做准备
在这里插入图片描述
在这里插入图片描述

2. stage3的详情

当前stage主要是在每个partition上进行count计算，partition和task的数量是20
这个阶段既有shuffle read 读取上一个stage产生的数据，又有shuffle write 为下一个阶段的汇总做准备
在这里插入图片描述
在这里插入图片描述

3. stage4的详情

这个阶段主要是进行shuffle read 来获取上一个阶段的数据来进行汇总操作。
在这里插入图片描述

4. job3 stage图

可以看到job3对应了两个stage,相比默认的情况多出了一个repartition的stage

在这里插入图片描述

1. stage5详情

这里看到3个executor都跑了4个线程来运行任务
当前stage主要的作用是进行repartition, 所以是进行shuffle write来为下一个阶段做准备。
在这里插入图片描述
在这里插入图片描述

2. stage6详情

这个过程是真正的写新的parquet文件，因为这里只有10个partition,所以3个executor并没有跑满，只是第一个跑了4个线程，后面两个都是3个线程。同时这个stage主要是shuffle read, 读取前面一个stage产生的shuffle write内容。
在这里插入图片描述

4. coalesce job图

在这里插入图片描述

1. job0 stage图

2. job1 stage图

3. job2 stage图

可以看到job2只有两个stage相对repartition的过程减少了shuffle的过程
在这里插入图片描述

1. stage2的详情

可以看到总共有20个task,使用了两个两个executor,最开始开启了5个线程，后面executor3关闭了，只剩下executor1的4个线程。
同时可以看到task列表中都有shuffle write 就是为了下一阶段的最终的count做准备。
在这里插入图片描述
在这里插入图片描述

2. stage3的详情

可以看到stage3只有一个partition，对应的是shuffle read , 读取stage2产生的数据来进行汇总计算
在这里插入图片描述

4. job3 stage图

job3只有一个stage ， 相对于repartition的方式减少了shuffle的过程

在这里插入图片描述

1. stage4的详情

在这里插入图片描述
在这里插入图片描述

夜月行者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark合并输出小文件
01-20
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果
spark partition 理解 / coalesce 与 repartition的区别
weixin_30642267的博客
08-27 547
spark partition 理解 / coalesce 与 repartition的区别 一.spark 分区 partition的理解： spark中是以vcore级别调度task的。 如果读取的是hdfs，那么有多少个block，就有多少个partition 举例来说：sparksql 要读表T, 如果表T有1w个小文件，那么就有1w个...
Spark SQL中coalesce()函数
最新发布
m0_69097184的博客
12-12 712
在Spark SQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。在数据清洗和预处理过程中，`coalesce()`函数非常有用，特别是在处理缺失值或空值时。
Spark 的 coalesce 的利弊及原理
雾岛与鲸的博客
07-30 3135
1、RDD.scala 的 coalesce函数源码 /* * numPartitions: 分区数 * shuffle: 是否进行shuffle(默认不shuffle) * partitionCoalescer: Coalesce分区器(用来决定哪些父rdd的分区组成一组，作为一个partitiongroup，也 * 即是决定了coalescedrdd的分区情况) */ def coalesce(numPartitions: Int, shuffle: Boolean = false,
Spark 之 重新设置分区的个数repartition()。
qq_29499107的博客
08-13 1万+
业务需求： 有事我们从hdfs上用spark 进行处理，很有可能 在hdfs 有多个block ,spark就会默认有多少个分区，在经过我们自己的逻辑计算后，得到的最后的结果数据并不是很大，同时想把它输出为一个文件，同理相反 想把她输出为多个文件，这时 repartition( num ) 就可以解决： demo: scala&gt; var a = sc.paralleli...
Spark源码之coalesce算子
ooeeerrtt的博客
02-13 4750
1、问题背景 总所周知，spark的rdd编程中有两个算子repartition和coalesce。公开的资料上定义为，两者都是对spark分区数进行调整的算子。 repartition会经过shuffle，其实际上就是调用的coalesce(shuffle=true)。 coalesce，默认shuffle=false，不会经过shuffle。 当前仅针对coalesce算子考虑，我们看一下官方的定义： 大概意思...
Spark中coalesce算子详解介绍
CSDN 精品推荐
08-16 536
上一节我们使用到了 `filter` 这个算子来过滤RDD中的元素，有些极端情况下会导致某一分区中的数据全部被过滤，或者仅仅剩余几条数据，这时如果再将这些数据划到一个分区，不划算，这时我们就可以使用 `coalesce` 这个算子来缩减分区，减小任务调度成本。
Spark-Coalesce()方法和rePartition()方法
justlpf的专栏
08-05 1067
参考文章：Spark学习-Coalesce()方法和rePartition()方法 最近使用spark中遇到了重分区的问题，本文对下面三篇文章内容按照自己逻辑进行整理，mark下！！ https://www.cnblogs.com/fillPv/p/5392186.html https://blog.csdn.net/do_yourself_go_on/article/details/74315834 https://blog.csdn.net/u011981433/article/details/
sql函数：coalesce()
haohaoxuexiyai的博客
03-26 345
转载自：https://blog.csdn.net/weixin_38750084/article/details/83034294 COALESCE()函数 主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下： COALESCE ( expression,value1,value2……,valuen) COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个数不定。 COALESCE()函数将会返回包括expression在内的所有参
Spark中repartition和coalesce的用法
hellojoy的博客
08-28 4613
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分区） 1）、N&lt;M。一般情况下N个...
Spark性能优化：数据倾斜调优
02-26
继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...
Spark面对OOM问题的解决方法及优化总结1
08-08
2.数据不平衡导致内存溢出： 数据不平衡除了有可能导致内存溢出外，也有可能导致性能的问题，解决方法和上面说的类似，就是调用repartition重新分区
HBFQ_Repartition_MI_Pad_1_2GB_zardMi3.zip
08-21
HBFQ_Repartition_MI_Pad_1_2GB_zardMi3
Armadito-Scheduler：公平的时间分配任务调度解决方案
02-05
Armadito-Scheduler：公平的时间分配任务调度解决方案
Spark学习-Coalesce()方法和rePartition()方法
热门推荐
lzq20115395的博客
06-06 2万+
最近使用spark中遇到了重分区的问题，本文对下面三篇文章内容按照自己逻辑进行整理，mark下！！ https://www.cnblogs.com/fillPv/p/5392186.html https://blog.csdn.net/do_yourself_go_on/article/details/74315834 https://blog.csdn.net/u011981433/arti...
Spark SQL空值处理函数 coalesce
修破立生
01-21 4986
函数说明 coalesce这个英文单词是联合，合并的意思。 用于字段空值的处理，譬如，希望把空值转为0。 使用方法 coalesce(field1, value)：意思是如果field1不为null, 则返回field1本身的值，否则，返回value； 如： select coalesce(field1, 0), 当field1为null, 则返回0。 coalesce可以从左到右依次判定多个字段的值，如下： coalesce(field1, field2, field3, value): 字段的个
spark计算过程中coalesce优化
zlhblogs的博客
04-20 513
在 Spark 中，coalesce 是一种用于减少分区数量的操作，可以将多个小分区合并成一个大分区。在读取数据时使用 coalesce：如果你的数据集已经被分成了太多的小分区，可以在读取数据时使用 coalesce 将其合并为更少的分区，这可以减少数据移动和网络开销，提高计算性能。在计算过程中使用 coalesce：在计算过程中，如果你发现某些操作会将分区数增加到非常大的数量，你可以使用 coalesce 将分区数降至一个更合理的数量，以提高计算性能。
Spark：coalesce()方法和repartition()方法
不花的花和尚的博客
05-23 1219
https://blog.csdn.net/olizxq/article/details/82808412
Spark coalesce和repartition
qq_43192537的博客
11-28 850
Spark coalesce和repartition
Repartition和Coalesce关系与区别
07-09
repartition和coalesce都是Spark中用于重新分区的方法，但它们之间有一些区别。 repartition方法会将数据集重新分区，可以增加或减少分区数。它会进行shuffle操作，即数据会被重新洗牌，因此会有网络传输和磁盘IO的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值