通过spark.default.parallelism谈Spark并行度

最新推荐文章于 2023-03-14 13:57:21 发布
VIP文章 最新推荐文章于 2023-03-14 13:57:21 发布
阅读量1.4k 收藏
点赞数
分类专栏： Spark 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42164977/article/details/103284328
版权

本篇文章首先通过大家熟知的一个参数spark.default.parallelism为引，聊一聊Spark并行度都由哪些因素决定？
在这里插入图片描述
上图是spark官网关于spark.default.parallelism参数说明：
对于reduceByKey和join这些分布式shuffle算子操作，取决于它的父RDD中分区数的最大值
对于没有父RDD的的算子，比如parallelize，依赖于集群管理器：
本地模式：取决于本地机器的核数
如果集群管理器是Mesos，则为8
其他的：对比所有executor上总核数与2比较，哪个大是哪个
当然上面这些都是默认值，如果我们自己设置了分区数，情况就会有所变化，直接看源码【查看org.apache.spark.Partitioner源码defaultPartitioner方法】
在这里插入图片描述
你会发现，如果你使用reducebykey、g

最低0.47元/天 解锁文章
大数据学习与分享
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark配置默认值及其解释说明
11-20
spark配置
Spark 优化
最新发布
m0_54357806的博客
06-08 859
spark优化
pyspark性能调优参数
kyle1314608的博客
09-01 1818
一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 二.指定并行的task数量 spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数调优
spark.default.parallelism 这个参数有什么意义，实际生产中如何设置
weixin_59295776的博客
12-25 1496
1）参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能； 2）很多人都不会设置这个参数，会使得集群非常低效，你的cpu，内存再多，如果task始终为1，那也是浪费，spark官网建议task个数为CPU的核数*executor的个数的2~3倍。 ...
从spark.default.parallelism参数来看Spark并行度、并行计算任务概念
石榴姐yyds
04-18 5870
1 并行度与分区概念 并行度：Spark作业中，各个stage的task数量，就代表Spark作业在各个阶段（stage）的并行度 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入切片，称为InputSplit，注意InputSplit不能跨越文件。 随后将为这些输入切片生成具体的Task。InputSplit与Task是一一.
spark调优详解
hgy0403的博客
08-19 1456
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
关于Spark默认并行度spark.default.parallelism的理解
雷恩Layne
08-04 1万+
spark.default.parallelism是指RDD任务的默认并行度，Spark中所谓的并行度是指RDD中的分区数，即RDD中的Task数。 当初始RDD没有设置分区数（numPartitions或numSlice）时，则分区数采用spark.default.parallelism的取值。 Spark作业并行度的设置代码如下： val conf = new SparkConf() .set("spark.default.parallelism", "500") 对于reduceByKey和jo
spark重要参数调优建议：spark.default.parallelism设置每个stage默认的task数量
学亮编程手记
06-05 3086
spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数调优建议：Spark作业的默认task数量为500~1000个较为合适。很多同学常犯的一个错误就是不去设置这个参数，那么此时就会导致Spark自己根据底层HDFS的block数量来设置task的数量，默认是一个HDFS block对应一个task。通常来说，Spark默认设置的数量是偏少的（比如就几十个task），如果task数
谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解
热门推荐
weixin_43179522的博客
08-11 1万+
谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解spark.sql.shuffle.partitions和 spark.default.parallelism 的区别spark并行度的理解如何设置spark.sql.shuffle.partitions和spark.default.parallelism的值 spark.sql.shuffle.partitions和 spark.default.parallel
spark RDD中的并行度、分区器默认策略
javaMylief的博客
03-14 723
yarn：getInt("spark.default.parallelism", math.max(totalCoreCount.get(), 2))，根据spark.default.parallelism参数，如果没配置就是yarn的executor的总逻辑核数，最小也得两个并行度。如果上游所有rdd中的最大并行度/最大分区器所在rdd的并行度
spark.default.parallelism提高效率
紫蝶侠的博客
05-26 312
spark通过合理设置spark.default.parallelism参数提高执行效率
Pro.Spark.Streaming.The.Zen.of.Real-Time.Analytics.Using.Apache.Spark.1484
06-27
Learn the right cutting-edge skills and knowledge to leverage Spark Streaming to implement a wide array of real-time, streaming applications. Pro Spark Streaming walks you through end-to-end real-time...
.High.Performance.Parallelism.Pearls.0128021187
01-23
High Performance Parallelism Pearls shows how to leverage parallelism on processors and coprocessors with the same programming – illustrating the most effective ways to better tap the computational ...
Spark常用命令
01-07
/data/software/spark-2.2.1/bin/spark-submit –class com.anker.eufy.device.DeviceRePurchase –master yarn –conf spark.default.parallelism=9 –num-executors 6 –driver-memory 3g –executor-memory 2g ...
开始：Node.js的功能任务运行器
02-04
开始 :warning: 项目已转移到 功能性–在所有方面快速– 可共享–预设为已发布的程序包第4行与右边的徽标对齐目录例.├── packages/│ ├── foo/│ │ ├── src/│ │ │ └── index.ts│ │ ├── test/│...
SparkSQL存储数据到Parquet：AnalysisException: Parquet data source does not support null data type.
大数据学习与分享的博客
10-30 3709
使用SparkSQL（2.4版本）往存储格式为parquet的Hive分区表中存储NullType类型的数据时报错： org.apache.spark.sql.AnalysisException: Parquet data source does not support null data type. 虽然在Stack OverFlow上找到了类似的问题，但没有具体阐明到底是什么原因导致了这种问题以及如何解决？ 1.场景模拟 1）创建temp view：test_view sparkSession.sql
SparkSQL: Cannot have map type columns in DataFrame which calls set operations(intersect, except,
大数据学习与分享的博客
11-01 2933
通过SparkSQL，对两个存在map类型字段的Hive表进行union操作，报如下错误： org.apache.spark.sql.AnalysisException: Cannot have map type columns in DataFrame which calls set operations(intersect, except, etc.), but the type of column map is map<string,string>; 1. 场景模拟 1）通过函数str_
spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in
大数据学习与分享的博客
11-06 2865
系列二 在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换 在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用： 设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。 设置为false时，会使用parquet的新版格
如何使用spark或者hive sql将Excel文件加载为一张hive表
大数据学习与分享的博客
04-16 2841
一、Spark实现方案 1. 创建Hive外部表, 数据保存格式为parquet create external table `bigdatalearnshare.test_excel_file`( `id` string, `name` string, `age` string) stored as parquet location '/bigdatalearnshare/test/test_excel_file'; 2. spark代码demo spark版本: 2.4.3 scala版本: 2.11
spark.default.parallelism
03-16
`spark.default.parallelism` 是 Apache Spark 的一个配置参数，用于设置默认的并行度。在 Spark 中，任务被划分成一系列的任务片段，这些任务片段可以并行地执行。并行度是指同时执行的任务片段数量。默认情况下，`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值