Spark读取HDFS文件分区数量确定

最新推荐文章于 2023-05-11 20:40:22 发布
最新推荐文章于 2023-05-11 20:40:22 发布
阅读量923 收藏
点赞数
分类专栏： 大数据基础 文章标签： spark big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28420973/article/details/107134870
版权

请查看此微博，参考地址：https://www.jianshu.com/p/e33671341f0d

结论

  1. split数量决定分区数量
  2. split数量取决于textFile ("", partitionNum)参数
  3. goalsize = totalsize / partitionNum
  4. splitsize = Max(minSize,Min(goalsize, blocksize))
  5. 文件大小大于splitsize 1.1倍会被拆分
  6. 一个分区只能包含一个文件
  7. 分区数量 >= 文件数量
东户舟先生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 读取 hdfs 数据分区规则
u013939918的博客
07-27 1079
下文以读取 parquet 文件 / parquet hive table 为例： hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制，默认为 true。 如果设置为 true ，会使用 org.apache.spark.sql.execution.FileSourceScanExec ，否则会使用 org.apache.spark.sql.hive.execution.HiveTableScanExec。
Spark小文件异步合并工具
09-25
通过合并小文件，可以减少分区数量，使得数据处理更高效。此工具通过异步方式执行，可以在不影响当前作业运行的情况下进行文件合并，避免了合并过程对计算资源的即时占用。 2. **Spark集成**：该工具与Spark紧密...
【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/多个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-25 445
一、简要概述 1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions， 2、然后依旧是通过goalSize，minSize，blockSize计算出splitSize， 3、最后将splitSize单独应用到每个文件上面，将所有分区加起来就是最后得到的总分区了。 二、minPartitions设置为3的分片情况 三、minPartitions设置为2的分片情况 总结、 参考 【spark读取 本地/可分割/多个 的文件
【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-18 533
前言 spark怎么知道读取的是本地文件还是hdfs的文件呢？ 前面写过一篇博客【spark2的textFile()是怎么实例化各个不同的fs(FileSystem)】，主要是指【本地文件系统】和【hadoop文件系统】，我们看到源码里最后是根据文件路径url的scheme来判断的： file: LocalFileSystem hdfs: DistributeFileSystem 1、从InputSplit[] getSplits(JobConf job, int numSplits)说起 因为前部分
spark读取hdfs文件的分区数
lijianqingfeng的专栏
12-21 1922
一直以来都没搞懂spark读hdfs文件到底是怎么确定分区数的，分区数如果超过了spark的并行度怎么办。最近又在写spark任务，顺便看一下这个逻辑。 （1）spark读hdfs文件的分区数由hdfs文件占用的文件块数决定。 我们知道，hdfs文件存储的时候是分文件块的，就想操作系统存储文件一样。操作系统的一块一般是1024kB，hdfs文件一般存储大文件，一块一般设置为128MB。 例如：如果读取的一个hdfs文件大小为1280MB，可能是存储为10块，那么spark读取这个文件的分区数就是.
Spark core通过textFile读取Hdfs文件blockSize如何设置？
m0_64640191的博客
02-13 419
其实Spark core无论是读取hdfs还是读取本地文件都会以hadoopfile的形式进行读取，不同点在于读取本地文件时可以通过在resources文件中放入hdfs-site.xml文件设置fs.local.block.size参数来控制blocksize大小，而读取hdfs文件时，blocksize是通过获取此文件在hdfs存储的实际块大小，另外虽然blocksize和具体分区数有关但不是唯一决定因素；接下来，就让我们通过源码简单的来看看。
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些...
大数据技术原理及应用课实验7 :Spark初级编程实践
01-16
在Spark Shell中，可以通过`textFile()`函数读取文件，例如读取本地文件"/home/hadoop/test.txt"，只需一行命令`sc.textFile("/home/hadoop/test.txt")`。若要读取HDFS上的文件，需要指定HDFS的URL，如`sc.textFile...
分布式文件系统HDFS的起源、架构、组成、特性以及数据操作方式
01-27
HDFS作为分布式文件系统，其设计目标包括应对硬件故障、优化流式数据读取和处理大数据集。 1. HDFS架构与组成 HDFS由NameNode和DataNode构成。NameNode是元数据管理节点，负责文件系统的命名空间和文件块映射信息...
基于scala语言的spark操作，包含连接操作mysql，连接hdfs.zip
最新发布
03-20
本教程将探讨如何使用 Scala 语言来操作 Spark，并介绍如何与 MySQL 数据库和 HDFS（Hadoop 分布式文件系统）进行交互。以下是相关知识点的详细说明： **1. Scala 语言基础** Scala 是一种多范式编程语言，融合了...
spark的分区详解
m0_37967990的博客
04-21 1241
hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。partition 是指的spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD）的partition 大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一。我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。
解决Spark读取HDFS小文件的问题
chilai4545的博客
08-03 963
若Spark读取HDFS文件夹时， 其中的小文件过多会降低程序性能，也给HDFS带来压力。 当Spark读取文件时， 会为每个文件的数据分配一个Partition， 可以使用coalesce算子减少rdd中的分区。 首先， 编写函数实现根据文件大小来确定分区数的功能 def coale...
spark通过textFile读取hdfs数据分区数量规则
xuexue1_1的博客
07-02 1264
作者：越走越远的风 链接：https://www.jianshu.com/p/e33671341f0d 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 话不多说，直接上代码 val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local[*]") val sc = new SparkContext(conf); val rdd = sc.textFile("E:\\fandf\.
Spark partition详解
qq_24186017的博客
09-17 415
一：spark读取hdfs分片机制 spark sc.textFile底层调用的是hadoop的代码，所以分片机制也是hadoop的机制 goalSize=totalSize是文件的总字节数/numSplits是有多少个分区，没有配置的话默认minPartitions=2。就是算每个分区有多少数据 long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits); long minSize = Math.max(job.getLong(..
spark03-读取文件数据分区数量个数原理
oracle8090的博客
02-13 863
spark 读取文件 产生分区原理
【hadoop】split大小设置和map数量设置
开发随笔-猫咪酱
05-08 2593
三个参数决定split 1.mapred.min.split.size 2.mapred.max.split.size 3.dfs.block.size 根据公式: max(minimumSize,min(maximumSize,blockSize)) 默认情况: minimumSize < blockSize < maximumSize min默认为1，max默认为long类型...
HDFS Block块大小限定依据及原则
GSpinach的博客
08-17 8660
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
Spark RDD分区数和分区器
weixin_37901366的博客
05-11 659
① Ctrl + B 进入textFiletextFile底层其实就是通过去读文件② Ctrl + B 进入hadoopFile>>可以发现里面New了一个HadoopRDD实例③Ctrl + B 进入HadoopRDD类重点关注里面的方法>> 拆解分析1：最终返回的是一个partition数组>> 拆解分析2：inputSplits是通过getInputFormat(jobConf).getSplits(jobConf, minPartitions)获取，所以需要进入方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值