spark数据分区划分和任务执行相关内容

最新推荐文章于 2024-01-25 10:39:41 发布
最新推荐文章于 2024-01-25 10:39:41 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： spark相关 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z471365897/article/details/123168515
版权
本文详细探讨了Spark中的RDD并行度和分区概念。内容包括：1) 分区个数的生成规则，如textFile的分区计算方式；2) Spark如何以分区形式保存数据；3) Spark读取TextFile数据的分区分配方式，解释了以行为单位读取、偏移量处理等细节；4) 并行度与分区的关系，说明了分区数量与任务并行运行的对应关系。
摘要由CSDN通过智能技术生成

## RDD并行度和分区
  1. 能够并行计算的任务数量,我们称之为并行度。例如只有一个executor-cores,那并行计算的任务就只有一个
  2. 分区是能够并行计算的最大的并行度
  


## 1.分区个数生成规则
  ### 1.textFile 文件数据源
1.分区相关参数定义

        val rdd=sc.textFile(path="xxxx",用户指定的分区)<br>
        如果没有用户指定的分区，则用defaultMinPartitions<br>
        defaultMinPartitions: Int = math.min(defaultParallelism, 2)<br>
        defaultParallelism= scheduler.conf.getInt("spark.default.parallelism", totalCores)<br>

2. **分区数据计算方式**<br>
            使用了HadoopFile.spark读取文件底层是hadoop的方式<br>
            totalSize 代表该文件的大小<br>
            gogalSize= totalSize/并行度=M(byte)<br>
            M代表每个分区的字节。 <br>
3. **1.1概念** <br>
            在hadoop划分分区时，如果余下的分区长度大于M数量的10%就放在新分区，如果小于10%就放在老的分区

  ### 2.makeRDD 并行度
    1. spark.makrRDD在没有设置分区的时候下，在默认情况下

最低0.47元/天 解锁文章
pete1223
关注
专栏目录
Spark与Hive的数据分区与分桶策略详解
AI天才研究院
05-22 1133
1. 背景介绍 1.1 大数据时代的数据处理挑战 随着互联网、物联网、移动互联网等技术的飞速发展，全球数据量呈现爆炸式增长，大数据时代已经来临。海量数据的存储、管理和分析成为企业面临的巨大挑战。如何高效地处理和利用这些数据，从中提取有价值的信息，已成为当务之急。
带你彻底理解Spark的分区
SunnyRivers
05-05 1198
我：什么是RDD？面试者：RDD是被分区的，由一系列分区组成…我：你怎么理解分区？面试者：…我：Spark中有哪些可以实现分区的方法？分别使用的场景是什么？面试者…我：Spark默认分区数是多少？如何保证一个分区对应一个文件？面试者…Spark分区是将大型数据集划分为较小的数据块，每个数据块称为分区，分区是一个逻辑数据块，对应相应的物理块Block。每个分区都可以在集群中的不同节点上并行处理，这样可以提高Spark的并行性和性能。
Spark——性能调优——执行模型与分区
Napoleon的专栏
07-21 1208
一、序引     考虑到性能问题，而言Spark基本原理、执行模型、描述数据被shuffle(洗牌)，乃是前提条件。     掌握数据序列化，缓存机制，以及内存管理、垃圾回收，亦十分必须。 二、Spark执行模型     在大言Spark应用的性能改善之前，十分有必要先了解Spark在集群上分布式执行程序的基础知识。         →当启动一个Spark应用时，driver进程会随着集群
Spark查看每个分区的数据
ks_1998的博客
03-30 3113
Spark查看每个分区的数据
Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)
好读书，每有会意，便欣然忘食。
11-14 610
本节主要内容 Spark重要概念弹性分布式数据集（RDD）基础 1. Spark重要概念 本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html （1）Spark运行模式 目前最为常用的Spark运行模式有：  - local：本地线程方式运行，主要用于开发调试Spark应用程序 
spark分区数,task数目,core数,worker节点个数,excutor数量梳理
dfug3303的博客
04-05 1129
作者：王燚光链接：https://www.zhihu.com/question/33270495/answer/93424104来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析...
Spark分区原理和分区后数据的划分
wushuoyouting的博客
02-07 1093
Spark分区原理和数据的分布 将从内存数据和文件数据两个方向，讲述下数据如何分区，分区后的数据如何分配的问题 本实例使用本地模式实践解析 1. 集合数据的分区和数据分布 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("parallelism") //sparkConf.set("spark.default.parallelism","5") val sc = new SparkContext(sparkConf) val
大数据之 spark 任务划分
最新发布
代妈炼金术师
01-25 513
在实际运行过程中，Spark的DAGScheduler首先将Job拆分成Stages，然后TaskScheduler将Stages进一步分解成Task，并将Task分配给各个Executor执行。这个过程确保了数据处理可以在分布式集群上高效并行运行。Apache Spark 中的任务划分（Task Scheduling）是一个关键的优化过程，它影响到整个Spark作业执行的效率和性能。
Spark的重划分（分区）与合并
金啊豆嘞的博客
05-17 916
Spark的分区与合并操作通常是一个重要的优化方法，它根据一些经常过滤的列对数据进行分区，控制跨集群数据的物理布局，包括分区方案和分区数。 不管是否有必要，重新分区都会导致数据的全面洗牌。 如果将来的分区数大于当前的分区数，或者当你想要基于某一组特定列来进行分区时，通常只能重新分区。 合并分区：合并操作（coalesce）不会导致数据的全面洗牌，但会尝试合并分区。 示例代码如下： /** * 分区与合并 * 另一个重要的优化是根据一些经常过滤的列对数据进行分区，控制跨集群数据的物理布局，包括分
Spark处理RDD，分区数和executor的关系
攻城狮Kevin
10-31 4059
在代码中将RDD进行了hash重分区成56个partition，RDD中包含从HDFS上读取的4亿条记录，每一行记录存为RDD中的一个元素。 所以最终RDD有4亿个元素，56个分区，对应spark程序中56个task， 查看任务时显示如下： 再结合spark的原理图： 共申请了201个executor（Driver端占1个，申请200个executor）， 总tasks数为56，...
记录-bigdata-使用scala语言，使用spark获取ODS层指定分区表中的数据并进行相应的清洗（缺失字段填充、去重）---接上一篇文章
qq_43009048的博客
04-07 3764
我这里是完成编码之后，打包发送到集群上运行的！！！ 1.使用IDEA创建MAVEN项目 pom配置如下 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x
Spark系列(四)RDD编程
哆啦咪~fo
03-17 425
Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将介绍RDD编程之转换（Transform）和行动（Action）两种操作。RDD是分布式数据集的抽象RDD是不可变的数据集合，每个RDD都被分成多个分区，这些分区运行...
Spark - newAPIHadoopFIle 获取文件与文件路径 By Scala
BITDDD小栈
09-14 2489
一.引言 离线日志通常使用 dt，hour，min 或者使用 timeStamp 作为累计文件的命名方式，对于文件日志中不包含时间戳或者时间信息的日志内容，为了获取其对应创建时间与文件属性，需要读取文件时同时获取其 File 对应的 FileSplit 类。 二.实践 1.思路 A. sc.newAPIHadoopFile 读取输入获得 RDD[(LongWritable, Text)] B. asInstanceOf 转换为 NewHadoopRDD[LongWritable, Text].
[spark]spark资源分配
胖胖的博客
02-06 3055
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。
Spark DataFrame重新分区
onway_goahead的博客
07-06 1870
spark理论
Spark的一个经典问题（1个Core5个Executor和5个Core1个Executor有什么区别）
手提青灯觅佳人的博客
12-27 2236
Spark的一个经典问题（1个Core5个Executor和5个Core1个Executor有什么区别） 一、问题分析 1.1先思考两个问题 1个Core VS 5个Core 有什么区别？在spark中如何用到Core 1个Executor VS 5个Executor 有什么区别？在spark中如何使用Executor？ 1.2再思考两个问题 什么是IO密集？ 什么是计算密集？ 二、上述两种方式 如何选择 案例1 数据量10亿条，什么逻辑运算都不做处理，只是写到hdfs中，该选择哪种方式？ 逻辑运算很少，
Spark --如何合理地设置executor-memory、executor-cores、num-executors
热门推荐
patrick_big_data的博客
03-15 1万+
文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e...
Hadoop与Spark常用配置参数总结
GarfieldEr007的专栏
03-20 1265
背景 MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。 MapReduce重要配置参数 1.  资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map T
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值