谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解

已于 2023-06-02 16:02:42 修改
阅读量2.2w 收藏 56
点赞数 17
分类专栏： spark 文章标签： spark 大数据 hadoop
于 2020-08-11 20:18:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43179522/article/details/107942679
版权

谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解

spark.sql.shuffle.partitions和 spark.default.parallelism 的区别

首先两者最直观的区别:
 spark.default.parallelism只有在处理RDD时有效.
 spark.sql.shuffle.partitions则是只对SparkSQL有效.
看一下官网给出的两者定义:
在这里插入图片描述
以我的四级水准乱翻译一下:
 spark.sql.shuffle.partitions: 设置的是 RDD1做shuffle处理后生成的结果RDD2的分区数.
  默认值: 200
 spark.default.parallelism: 设置的是 RDD1做shuffle处理/并行处理(窄依赖算子)后生成的结果RDD2的分区数
  默认值:
   对于分布式的shuffle算子, 默认值使用了结果RDD2所依赖的所有父RDD中分区数最大的, 作为自己的分区数.
   对于并行处理算子(窄依赖的), 有父依赖的, 结果RDD分区数=父RDD分区数, 没有父依赖的看集群配置:
    Local mode:给定的core个数
    Mesos fine grained mode: 8
    Others: max(RDD分区数为总core数, 2)

spark并行度的理解

 并行度其实就是指的是spark作业中, 各个stage的taskset中的task的数量, 代表了spark作业中各个阶段的并行度, 而taskset中的task数量 = task任务的父RDD中分区数

如何设置spark.sql.shuffle.partitions和spark.default.parallelism的值

 官网建议: 设置为当前spark job的总core数量的2~3倍. 理由如下:
 背景: spark作业是 1 core 1 task的
 为什么是2倍？
  这块主要是涉及超线程技术，一个物理核虚拟出两个逻辑核，spark的1core 1task是针对逻辑核而言的。
 为什么是2~3倍？
  假设我们给当前Spark job 设置总Core数为 100, 则Spark任务虚拟成200个逻辑Core，那么依据1 core 1 task, 当前spark集群中最多并行运行200task任务, 那么通过设置上述两个参数为200, 使得我们结果RDD的分区数为200, 一个分区 1task 1core, 完美! 但是实际生产中会有这样的情况, 200个task中有些task的处理速度快, 有些处理慢, 假设有20个task很快就处理完毕了, 此时就会出现 我们集群中有20个core处理闲置状态, 不符合spark官网所说的最大化压榨集群能力.
  而如果我们设置上述参数值为299, 此时的现象: 虽然集群能并行处理299个task, 奈何总逻辑core只有200, 所以会出现有99个task处于等待处理的情况. 处理较快的那20task闲置下来的20个core就可以接着运行99个中的20个task, 这样就最大化spark集群的计算能力

Spark 之 Shuffle & AQE
zhixingheyi_tian的博客
06-03 2647
shuffle
Spark数据倾斜解决产生原因和解决方案
n2670820434的博客
08-13 1211
在对RDD执行shuffle算子时，给shuffle算子传入一个参数，比如reduceByKey(1000)，该参数就设置了这个shuffle算子执行 时shuffle read task的数量，即Spark.sql.shuffle.partitions，该参数代表了shuffle read task的并行度，默认是200，对于很多场景来说都有点过小。增加shuffle read task的数量，可以让原本分配给一个task的多个key分配给多个task，从而让每个task处理比原来更少的数 据。
Spark性能调优方法总结
2301_77948840的博客
02-11 2301
  Spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节，我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数： /usr/local/spark/bin/spark-submit –conf spark.default.parallelism=12 –num-executors 3 –executor-cores 2 –executor-me
Spark优化-数据倾斜解决方案 提高shuffle操作reduce并行度
u013939918的博客
03-09 2065
数据倾斜解决方案  提高shuffle操作reduce并行度   方案实现思路：在对RDD执行shuffle算子时，给shuffle算子传入一个参数，比如reduceByKey(1000)，该参数就设置了这个shuffle算子执行时shuffle read task的数量。对于Spark SQL中的shuffle类语句，比如group by、join等，需要设置一个参数，即sp
spark.sql.shuffle.partitions 和 spark.default.parallelism 的区别
abc33880238的博客
02-27 1550
在关于spark任务并行度的设置中，有两个参数我们会经常遇到，spark.sql.shuffle.partitions 和 spark.default.parallelism, 那么这两个参数到底有什么区别的？ 首先，让我们来看下它们的定义 Property NameDefaultMeaning spark.sql.shuffle.partitions...
Spark中的spark.sql.shuffle.partitions 和spark.default.parallelism参数设置默认partition数目
Code_LT的博客
10-26 1万+
当不跟随父对象partition数目的shuffle过程发生后，结果的partition会发生改变，这两个参数就是控制这类shuffle过程后，返回对象的partition的 经过实测，得到结论： spark.sql.shuffle.partitions 作用于dataframe（val df2=df1.shuffle算子（如df1.orderBy()），的df2的partition就是这个参...
spark.sql.shuffle.partitions和spark.default.parallelism的深入理解
weixin_42307036的博客
01-07 4321
stack overflow链接 总结： 1.spark.default.parallelism只对RDD有效，对sparksql（DataFrame、DataSet）无效 2.spark.sql.shuffle.partitions对sparksql中的joins和aggregations有效，但其他的无效（对这种情况下，上述的两种配置都无效，我们应该怎么办呢？看第三点） 3.我们可以使用repartition算子对dataframe进行重分区。 ...
由spark.sql.shuffle.partitions混洗分区浅谈下spark的分区
lixia0417mul2的博客
11-20 3004
spark分区 spark并行度 spark任务数 spark输入数据分区 spark shuffle操作分区
Sparksql 动态shuffle partition
weixin_43839095的博客
10-23 1371
spark 动态shuffle 合并shuffle
spark.default.parallelism 在什么时候起作用，与spark.sql.shuffle.partitions有什么异同点？
z1941563559的博客
11-14 1378
异同主要影响 RDD 的初始并行度，而则专门控制 Spark SQL 中的 Shuffle 分区数。前者在非 SQL 的 RDD 操作中起作用，后者则仅对 SQL 或 DataFrame API 中的 Shuffle 操作生效。配置建议如果以 RDD 为主，则可以根据集群大小和任务负载调整。如果以 SQL 和 DataFrame 操作为主，特别是需要进行大量 Shuffle 的场景，可以适当调整来优化性能（如减少分区数以降低小任务开销，或增加分区数以加快数据处理速度）。
Spark的shuffle调优
12-19
spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty shuffle过程中，传输数据的方式，两种选项，netty或nio，spark 1.2开始，默认就是netty，比较简单而且性能较高，spark 1.5开始nio就是过期的了，而且spark 1.6中会去除掉 spark.shuffle.compress true 是否对map side输出的文件进行压缩，默认是启用压缩的，压缩器是由spark.io.compression.codec属性指定的，默认是snappy压缩器，该压缩器强调的是压缩速度，而不是压缩率
sparksql的shuffle分区数设置
qq_42936727的博客
03-28 1547
在SparkSQL中当Job中产生Shuffle时，默认的分区数(spark.sql.shuffle.partitions)为200,在实际项目中要合理的设置，特别是本地场景，一般支持不了200个分区。通常在集群中，也是设置和CPU核心一致，或者CPU的2倍以上。
sparksql set spark.sql.shuffle.partitions
cnjss的博客
07-07 2123
set spark.sql.shuffle.partitions没有效果
【博学谷学习记录】超强总结，用心分享|狂野大数据课程【Spark SQL的shuffle分区设置】的总结分析
qq_42198232的博客
03-05 774
Spark SQL的shuffle分区设置
Spark Core快速入门系列 （四）RDD的分区与Shuffle
weixin_45417821的博客
08-27 398
文章目录RDD 的 Shuffle 和分区RDD 的分区操作RDD 的 Shuffle 是什么RDD 的 Shuffle 原理Hash base shuffleSort base shuffle RDD 的 Shuffle 和分区 目标 RDD 的分区操作 Shuffle 的原理 分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者
利用开窗函数+spark.sql.shuffle.partitions避免小文件合并
L13763338360的博客
06-08 1926
遇到一个常见sql使用场景 insert overwrite table xxx(date='${hiveconf:date}') select * from table1 union all select * from table2 观察发现任务耗时慢，大概10多分钟，其中主要耗时花在合并小文件——每次执行完spark etl任务还会执行hive合并小文件合并，解决小文件过多的问题。 ALTER TABLE xxx PARTITION (date='${d...
[sparkSQL] Shuffle
言之。
12-30 1万+
请注意，Shuffle 操作是开销较大的操作，因为它涉及数据的物理移动和网络通信。在 Spark 中，尽量减少 Shuffle 操作可以提高性能。可以通过合理设计数据分区、使用广播变量、使用合适的数据结构等方式来减少 Shuffle 的发生。在Spark SQL中，Shuffle 是指将数据重新分布到不同的节点上以进行处理的操作。
Spark分区 partition 详解
热门推荐
.
08-05 2万+
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。图一中，RDD1包含了5个Partition，RDD2包含了3个Partition，这些Partiti...
spark.default.parallelism=400
最新发布
04-03
### 设置 Spark 默认并行度为 400 的方法 在 Spark 中，可以通过多种方式设置默认的并行度（`default parallelism`）。以下是几种常见的配置方法： #### 方法一：通过 `spark.default.parallelism` 参数 可以在 Spark 配置文件或启动应用程序时指定该参数来设置全局默认并行度。具体操作如下： - 如果使用的是 Spark Shell 或其他交互环境，在启动命令中加入以下选项即可完成配置： ```bash --conf spark.default.parallelism=400 ``` - 对于集群模式下的作业提交，也可以通过 `--conf` 参数传递给 `spark-submit` 工具[^1]。 #### 方法二：修改 Spark 配置文件 对于长期运行的任务或者固定部署场景，可以编辑 Spark 的配置文件 `spark-defaults.conf` 并添加以下内容： ```properties spark.default.parallelism 400 ``` 保存更改后重启 Spark 应用程序以使新配置生效[^3]。 #### 方法三：动态调整 Shuffle 分区数量 除了上述静态设定外，还可以针对特定任务灵活控制其分区数目。例如当执行 SQL 查询语句前可临时改变 shuffle partitions 数量至目标值 (此处设为400)，即执行下面这条指令之前的所有后续shuffle操作都将采用新的定义好的partition count: ```sql SET spark.sql.shuffle.partitions=400; ``` ### 处理与优化性能问题 即使设置了较高的初始并行级别也可能遇到某些特殊情况比如数据分布不均等问题影响整体效率表现。此时就需要借助更高级别的特性来进行进一步微调: #### 开启自适应查询执行(AQE) 启用 AQE 功能可以帮助系统自动识别潜在的数据倾斜状况并对之采取相应措施而无需人工干预过多细节部分。主要涉及以下几个关键参数调节: - **开启AQE**: 将 `spark.sql.adaptive.enabled=true` 添加到您的应用配置当中去激活整个机制。 - **处理倾斜连接** : 启用 skew join 自动检测和缓解策略,确保相关联表间存在显著差异大小关系时候能够有效应对可能出现的大规模重复计算现象. * 设定阈值判断标准:`spark.sql.adaptive.skewJoin.skewedPartitionFactor`=X(推荐保持原厂预设5不变除非特殊需求); * 明确触发条件界限: `spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes`=Y字节单位表示达到多少容量以上才被认定属于严重失衡范畴值得特别对待. 这些做法共同作用之下往往能带来较为明显的提速效果同时减少资源浪费情况发生概率[^4]. ### 示例代码片段展示如何初始化带有定制化属性的对象实例 ```scala import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession val conf = new SparkConf() .setAppName("CustomParallelismApp") .setMaster("local[*]") .set("spark.default.parallelism", "400") val spark = SparkSession.builder.config(conf).getOrCreate() // 执行业务逻辑... println(s"Current default parallelism is set to ${spark.conf.get("spark.default.parallelism")}") ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值