Spark 创建RDD、DataFrame各种情况的默认分区数

已于 2023-02-07 14:33:50 修改
阅读量1.9w 收藏 51
点赞数 24
分类专栏： DataFrame RDD Spark 文章标签： spark scala big data
于 2018-08-14 10:55:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/81663018
版权
Spark 同时被 3 个专栏收录
76 篇文章 8 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
DataFrame
5 篇文章 1 订阅
订阅专栏
RDD
1 篇文章 0 订阅
订阅专栏
本文详细探讨了Spark在创建RDD和DataFrame时的默认分区策略，涉及sc.defaultParallelism、sc.defaultMinPartitions的设定及其影响。讨论了在不同场景下，如HDFS文件、本地文件、关系型数据库以及从内部数据集创建时的分区数。指出分区数为1可能导致性能问题，并给出了合理设置分区数的建议。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些情况的默认分区数为1。

  • 如果分区数少，那么并行执行的task就少，特别情况下，分区数为1，即使你分配的Executor很多，而实际执行的Executor只有1个，如果数据很大的话，那么任务执行的就很慢，好像是卡死了~，所以熟悉各种情况下默认的分区数对于Spark调优就很有必要了，特别是执行完算子返回的结果分区数为1的情况，更需要特别注意。（我就被坑过，我已经分配了足够多的Executor、默认的并行度、以及执行之前的数据集分区数，但分区数依然为1）

1、关于 sc.defaultMinPartit

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
  • 24
    点赞
  • 踩
  • 51
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
专栏目录
订阅专栏
Spark创建RDD、DataFrame各种情况的默认分区数
02-25
本文来自dongkelun，讲各种情况下的sc.defaultParallelism，defaultMinPartitions，各种情况下创建以及转化。熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些情况的默认分区数为1。如果分区数少，那么并行执行的task就少，特别情况下，分区数为1，即使你分配的Executor很多，而实际执行的Executor只有1个，如果数据很
spark默认分区数
qq_38103657的博客
07-02 3966
Spark中使用SparkSql进行shuffle操作，默认分区数是200个；参数配置是 --conf spark.sql.shuffle.partitions Spark进行RDD操作，默认分区数看机器的配置，一般是cores*executors --conf spark.default.parallelis 引自原文：https://blog.csdn.net/yolohohoh...
摸鱼大数据——Spark SQL——DataFrame详解一
最新发布
weixin_65694308的博客
07-07 1147
DataFrame表示的是一个二维的表。二维表，必然存在行、列等表结构描述信息​表结构描述信息(元数据Schema): StructType对象字段: StructField对象，可以描述字段名称、字段数据类型、是否可以为空行: Row对象列: Column对象，包含字段名称和字段值​在一个StructType对象下，由多个StructField组成，构建成一个完整的元数据信息。
Spark RDD的默认分区数：（spark 2.1.0）
weixin_34319999的博客
12-27 379
本文基于Spark 2.1.0版本 新手首先要明白几个配置： spark.default.parallelism：（默认的并发数）     如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：     本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）：     spark-shell                ...
Spark RDD 分区数详解
热门推荐
小江专栏
10-10 1万+
基础知识 spark.default.parallelism：（默认的并发数）= 2 当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 1、本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）：     spark-shell       spark.default.parallelism = 1     s
圳鹏大数据：spark Rdd的默认分区
万磁王的博客
01-11 1625
sparkRdd的默认分区有两大因素决定： 1.spark.default.parallelism 2.文件块的大小 spark.default.parallelism：（默认的并发数） 本地模式下spark.default.parallelism ： spark-shell 和spark-default.conf相关默认为4
spark rdd转dataframe 写入mysql的实例讲解
09-09
这里需要注意，`Spark.sql.*`系列的配置参数可以在创建`SparkConf`时设置，例如`spark.sql.shuffle.partitions`用于设置默认的分区数，`spark.sql.inMemoryColumnarStorage.compressed`用来决定DataFrame在内存中...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
在本文中，将详细介绍Spark的RDD API，以及如何在RDD、DataFrame和Dataset之间相互转换，以及如何使用Spark SQL进行操作。 首先来看RDD API的聚合操作aggregate。aggregate函数是RDD API中非常重要的一个动作操作，...
spark分区数
qq_42152390的博客
07-23 311
spark分区数 分区数建议是核数的2-3倍 分区数少于核数：意味着无法充分利用资源，不好 分区数等于核数：按理来说这应该是最好的。因为如果分区数多于核数，并行度也是一样的，而且还多了调度task的成本。但是，考虑到数据倾斜，分区数多一些，hash分配就会更加均匀。 分区数大于核数：一般而言，分区数是核数的2-3倍为最佳。真的太多也不好，调度task也是有成本的。要在数据倾斜和调度task之间做权...
spark的分区详解
m0_37967990的博客
04-21 1268
hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。partition 是指的spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD）的partition 大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一。我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。
spark（二）创建RDD时默认分区数
heroking
04-04 2619
一、概述 Spark的分区数对于Spark性能调优很重要，如果分区数少，那么并行执行的task就少，比如分区数为1，即使你分配的Executor很多，而实际执行的Executor只有1个，如果数据量很大的话，那么任务执行的就很慢，因此熟悉各种情况下默认的分区数对于Spark调优就很有必要了，特别是执行完算子返回的结果分区数为1的情况，更需要特别注意。 二、默认最小分区数：defaultMinPar...
大数据 - Spark系列《一》- 分区 partition数目设置详解
weixin_40968325的博客
01-29 1495
本文主要介绍了spark中partition的数目设置
Spark之分区
qq_32021523的博客
10-23 414
import org.apache.spark.Partitioner; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.SparkSession; import scala.Tuple2; import java
Spark Core---RDD分区数
加油
10-17 77
手动指定的numPartitions>spark.default.parallelism>默认等于父RDD的数量1、默认的情况下还是与父RDD的数目保持一致。println(s"当前的分区数是:${partitions}")2、可以在算子中，通过numPartitions参数或者是自定义一个Partitioner来决定RDD的分区数。
Spark RDD分区数和分区器
weixin_37901366的博客
05-11 704
① Ctrl + B 进入textFiletextFile底层其实就是通过去读文件② Ctrl + B 进入hadoopFile>>可以发现里面New了一个HadoopRDD实例③Ctrl + B 进入HadoopRDD类重点关注里面的方法>> 拆解分析1：最终返回的是一个partition数组>> 拆解分析2：inputSplits是通过getInputFormat(jobConf).getSplits(jobConf, minPartitions)获取，所以需要进入方法。
Spark——Partition的分区规则和分区数
m0_46657040的博客
09-22 3970
Partition的分区规则 以下代码以foreachPartition为例 1、 范围分区（RangePartitioner） RangePartitioner基于抽样的思想来对数据进行分区 object Spark04 { def main(args: Array[String]): Unit = { //1.创建SparkConf并设置App名称，使用本地模式开启两核 val conf = new SparkConf().setMaster("local[2]").setAppNa
spark中RDD的分区
qq_42456324的博客
04-28 4047
1、分区的介绍 分区partition,RDD内部的数据集合在逻辑上和物理上被划分成多个小子集合,这样的每一个子集合我们将其称为分区,即是数据集的一个逻辑块。 RDD只是数据集的抽象,分区内部并不会存储具体的数据。Partition 类内包含一个 index 成员,表示该分区在 RDD 内的编号，通过 RDD 编号 + 分区编号可以唯一确定该分区对应的块编号,利用底层数据存储层提供的接口,就能从存储介质(如:HDFS、Memory)中提取出分区对应的数据。 2、分区的意义 RDD 是一种分布式的
Spark创建RDD、DataFrame分区优化：默认值与调优策略
4. **特殊情况下的默认分区数**：有些函数创建RDD或DataFrame时，可能会意外地将分区数设置为1，如某些转换操作可能导致这样的结果。这种情况需要注意，因为它可能导致性能瓶颈，尤其是在数据量大时。 5. **性能...
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值