Spark中RDD数据从文件中读取后创建分区源码解析

最新推荐文章于 2022-07-08 11:54:59 发布
最新推荐文章于 2022-07-08 11:54:59 发布
阅读量316 收藏 1
点赞数
分类专栏： Spark模块化学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/105587878
版权

代码实现

在这里插入图片描述

源码解析

-在textFile中，第二个参数为minPartitions表示最小分区数,注意是最小，不是实际最终确定的分区数
     -在实际分区的过程中，会根据处理的文件的总大小（字节数）和最小分区数进行相除运算
        >余数为0，那么最小分区数，就是实际的分区数
        >余数不为0，那么实际分区数  大于 最小分区数

在这里插入图片描述

SmallScorpion
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark封神之路(13)-RDD分区详解
HANG.NIAN
06-23 1405
1 简介 简介 理解RDD是spark中封装的用来处理数据的一种抽象概念,其主要包含处理逻辑和要处理的数据! ​ 无论是不读取文件获取的RDD还是从集合转换而来的RDD最终的目的都是为了处理对应的数据 ,数据量海量的话 , 我们应该很容易的想到让数据并行化分布式运算!牵扯到分布式那必然存在数据任务划分的问题!那么RDD在创建的时候就对数据进行了有效的分区!当然我们也可以合理的改变RDD的分区来提高运算效率! 一个partitioner，即RDD的分片函数。当前Spark中实现了两种类型的分片函数.
RDD默认分区源码（RDD数据从文件中读取后创建）
mischen520的博客
06-08 121
1）分区测试 object partition03_file_default { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkCoreTest") val sc: SparkContext = new SparkContext(conf) //1）默认分区
【RDD】创建RDD及读取文件
yuxeaotao的博客
07-08 2105
Spark shell提供了SparkContext变量，使用创建RDD。 使用scala时，从中获取对象，并使用来创建rdd，这个函数还有另一个signature，它附加了一个整数参数来指定分区的数量。分区是Apache Spark中并行性的基本单位。Apache Spark中的RDD是分区的集合。（Partitions are basic units of parallelism in Apache Spark. RDDs in Apache Spark are a collection of pa
Spark中键值对RDD数据分区|数据读取与保存|Text文件|Json文件|Sequence文件|Object对象文件
SmallScorpion
04-20 542
键值对RDD数据分区 Spark目前支持Hash分区和Range分区，和用户自定义分区。Hash分区为当前的默认分区。分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区和Reduce的个数。 （1）只有Key-Value类型的RDD才有分区器，非Key-Value类型的RDD分区的值是None （2）每个RDD的分区ID范围：0~numPartitions-1，...
Spark从文件中创建RDD的分区机制源码解析
ChengYanan的博客
03-09 614
一、从磁盘读文件并创建RDD sc.textFile(path) 一、从SparkContext.scala中找到该方法 def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStopped() hadoopFile...
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些...
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
这通常涉及先从 HBase 读取数据，对数据进行过滤，然后将过滤后的行键写入 RDD 并执行删除操作。 6. **优化性能** - **分区策略**：为了提高效率，可以调整 RDD 的分区策略，使其与 HBase 表的分区一致，减少跨...
深入了解 RDD数据集文件
最新发布
01-07
Spark提供了多种API函数来操作RDD，例如`textFile()`用于从文件系统中读取数据并创建RDD，`map()`用于对每个元素应用函数，`filter()`用于筛选满足条件的元素，`reduceByKey()`用于对键值对RDD进行聚合操作等。...
spark-RDD的特性介绍及源码阅读必备基础
04-07
1. **创建RDD**：可以通过读取Hadoop文件系统、从父RDD转换、平行化本地数据或基于数据库创建。 2. **构建执行计划**：调用转换和动作算子后，RDD的血缘关系确定，DAGScheduler根据依赖关系划分Stage，最终封装成...
自定义RDD-从HDFS读取数据代码.zip
03-19
在Spark编程中，RDD（Resilient Distributed Datasets）是其核心抽象，它代表了一组不可变、分区的数据集，可以在集群中并行处理。在某些特定场景下，可能需要自定义RDD以满足特定的数据读取和处理需求，比如优化...
Spark中基于内存和文件的RDD分区方式 & 分区数与任务数的关系（追源码深度解析）
攻城狮Kevin
01-21 1346
目录 <1>、当RDD数据来源于内存 一、看local~模式下访问Spark，默认内存分区数 二、那么totalCores是一个什么值呢？ <2>、当RDD数据来源于内存，并指定分区 <3>、当RDD数据来源于文件而非内存 <4>、总结 <1>、当RDD数据来源于内存 首先上IDEA代码，这时makeRDD数据来自于内存 ...
spark读取文件源码分析-1
寒夜
09-10 2596
文章目录1. 问题背景2. 测试代码3. 生成的DAG图1. job02. job14. job0 产生的时机源码分析1. 调用DataFrameReader.load，DataFrameReader.loadV1Source2. 调用DataSoure.resolveRelation方法3. 调用DataSource.getOrInferFileFormatSchema()4. InMemoryFileIndex 初始化5. 调用InMemoryFileIndex.bulkListLeafFiles 方法
RDD的处理方法（创建、转换、行动、分区）
abcdrachel的博客
04-26 1830
spark生态系统：底层是spark core，在spark core的基础上开发了其他组件，可以支持不同的应用场景。spark sql支持sql 查询，spark streaming可以支持流计算，spark mLlib支持机器学习等。rdd编程是指spark core（底层）的编程。为什么叫rdd编程？因为整个过程就是对rdd的一次又一次的转换。 rdd编程基础 rdd创建 现...
Spark HadoopRdd partition的开始位置计算
chongqueluo2709的博客
12-09 474
Spark HadoopRdd partition的开始位置计算 Hadoop RDD partition数据范围计算 更多资源 SPARK 源码分析技术分享(bilibilid视频汇总套装视频): https://www.bilibili.com/video/av37442139/ g...
Spark的rdd创建与操作
一碗竹叶青的博客
10-30 2741
RDD创建 RDD可以通过两种方式创建： 第一种：读取一个外部数据集，从本地加载数据集或者从HDFS文件系统，HBASE，Cassandra，AmazonS3等外部数据源中加载数据集。 第二种：调用SparkContext的parmallelize方法，在Driver中一个已经存在的集合（数组）上创建。 从文件系统中加载数据创建RDD Spark采用textfile（）方法从文件系统中加载数据创建RDD，该方法把文件的URL作为参数，这个URL可以是本地文件系统的地址，或者是分布式文件系统HDFS的地址，或
Spark中RDD数据从集合中创建默认分区源码解析
SmallScorpion
04-17 167
2.3.1 默认分区源码（RDD数据从集合中创建） 没有指定分区数，默认分区规则: -从内存的集合中读取数据创建RDD默认分区规则 取决于分配给应用的CPU核数 -从外部文件中读取数据创建RDD默认分区规则 用分配给应用的CPU核数和2取最小值 math.min(defaultPar...
Spark阶段RDD的分区数计算
weixin_43690478的博客
06-24 778
1.调用textFile() def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStopped() hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], minPartitions).map(pair =&g
源码走读篇之：spark读取textfile时是如何决定分区数的
weixin_36630761的博客
05-03 1267
前言： 关于源码的文章，我自己其实也一直在有道云上有总结一些，犹豫平日里上班的缘故，着实没有太多的精力来写体系的写这些东西，但是，却着实觉得这些东西其实还是很重要的，特别是随着工作时间的渐长，越发觉得源码这个东西还是必须要看的，能带来很多的启发，我个人的体会是，每个工作阶段去解读都会有不一样的感受。 我也不敢说去解读或者说让你彻底搞个明白，自己确实没有那个水平。我...
Spark 创建RDD、DataFrame各种情况的默认分区数
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
08-14 1万+
我的原创地址：https://dongkelun.com/2018/08/13/sparkDefaultPartitionNums/ 前言 熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数......
Spark创建RDD、DataFrame分区优化：默认值与调优策略
3. **HDFS文件的Block数量**：Spark会尽可能地将RDD或DataFrame的分区与HDFS块对齐，以充分利用存储系统的并行读取能力。这意味着分区数可能受到HDFS Block大小的影响，例如，如果一个文件的大小远大于默认分区数，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值