Spark读取小文件调优参数

最新推荐文章于 2024-08-29 10:31:37 发布

L4mbert

最新推荐文章于 2024-08-29 10:31:37 发布

阅读量1k

点赞数

分类专栏： Hadoop Hive Spark大数据文章标签： spark hive big data

本文链接：https://blog.csdn.net/Christopher_L1n/article/details/120960433

版权

Spark读取小文件调优参数

# 每个文件只有514B
hadoop fs -count /user/hive/warehouse/small_files_orc/date=20211024
1 16 8420 /user/hive/warehouse/small_files_orc/date=20211024

验证的代码：

package com.lambert.examples

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

L4mbert

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜

Big_data_implicit_

12-27

2416

目录一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长三、shuffle性能调优 1、shuffle的原理 2、shuf...

Spark Hive 小文件合并

longlovefilm的博客

09-18

3063

背景小文件带来的问题对于HDFS 从 NN RPC请求角度，文件数越多，读写文件时，对于NN的RPC请求就越多，增大NN压力。从 NN 元数据存储角度，文件数越多，NN存储的元数据就越大。对于下游流程下游流程，不论是MR、Hive还是Spark，在划分分片（getSplits）的时候，都要从NN获取文件信息。这个过程的耗时与文件数成正比，同时受NN压力的影响。在NN压力大，上游小文件多的情况下，下游的getSplits操作就会比较慢。作业生成的文件数为了简化问题，假设：

参与评论您还未登录，请先登录后发表或查看评论

spark小文件合并

YUYUYUWW的博客

01-10

1750

小文件合并

Spark 的小文件读取

weixin_59295776的博客

11-23

834

Hive/Spark小文件解决方案(企业级实战)–参数和SQL优化

最新发布

qq_71257020的博客

08-29

1579

Spark读取Hive数据或文件如何提升速度的优化思路

Spark是如何读取大量小文件的

sijiwang95的博客

02-19

454

Spark是如何读取大量小文件的

Spark Job写文件个数的控制以及小文件合并的一个优化

半日闲的博客

04-12

2830

在大数据领域，平台小文件治理一直是一个非常重要的问题。我司大佬在Spark平台里，在向目标表中增加一个Shuffle，然后在Reduce端合并数据，以实现将小文件合并成大文件，来减少平台中的小文件。我司还对单个任务写HDFS文件个数做了限制，同时限制了单个Task 和单次Job 可写的HDFS个数限制。通过引入额外Shuffle对写入数据进行合并最终实现效果如下 == Optimized Logical Plan == CreateDataSourceTableAsSelectComman

Hive on Spark的小文件设置参数

qq_43688472的博客

07-03

1170

因此Spark官网建议的设置原则是，设置该参数为num-executors * executor-cores的2~3倍较为合适，比如Executor的总CPU core数量为300个，那么设置1000个task是可以的，此时可以充分地利用Spark集群的资源。参数调优建议：如果Spark作业中的RDD持久化操作较少，shuffle操作较多时，建议降低持久化操作的内存占比，提高shuffle操作的内存占比比例，避免shuffle过程中数据过多时内存不够用，必须溢写到磁盘上，降低了性能。

【Spark深入学习 -14】Spark应用经验与程序调优

2401_84166376的博客

04-28

781

机器硬件（如磁盘的选择，SATA盘还是SAS盘，磁盘RAID方式等）、网络（千兆网卡还是万兆网卡，网络峰值期间的带宽、吞吐、网络延迟、网络抖动，很多时候网络问题导致各种莫名问题，举个真实的例子，公司网线被老鼠咬了，导致网络时而可以，时而不行，鬼知道是什么问题，让人抓狂）、操作系统（操作系统的稳定性，内核版本的选择，非常重要，还有一些配置策略得和hadoop生态吻合）。可以看出来，一共有2个stage，1个stage包含8个task，一个包含2个task，先跑8个的，再跑2个的，一个14秒，一个0.1秒。

Spark-SQL常用调优参数汇总

三米学习笔记杂货铺

05-18

3685

写在前面的话：因为本人在职，所以没有充分的时间写博客，所以经常是写好整个框架，再陆陆续续的补充修改。所以如果发现什么错误请留言。本文主要是日常工作的积累，主要是简单罗列了常见的spark SQL的参数及其含义。 #Job ID /Name spark.app.name=clsfd_ad_attr_map_w_mvca_ins #yarn 进行调度，也可以是mesos，yarn，以及standa...

Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优

u014034497的专栏

10-29

3067

默认情况下因此，默认情况下，切片大小=blocksize。因为一般文件的block大小为128M, 是小于mapreduce.input.fileinputformat.split.maxsize默认值的根据orc文件的stripe，结合参数配置，最终生成split结论：因此使用能够控制生成split个数，进而控制读取的map task数量以下为设置为"67108864"时，spark sql 读取orc文件的示意图。

Spark 读取多个小文件

Silence的博客

03-16

9338

写这篇文章前并没有学到多少东西，只是遇到了一些问题，放在这里希望能得到解答。谢谢我想从文件夹下多个文件中读数据，也就是时读取每一个文件中含有“CDR”的行，文件的内容时这样的：我是想把所有文件中的含有“CDR”这一行读取出来，并一块存入本地文件中。我尝试了集中办法，都不是很让

Spark小文件异步合并工具

09-25

java写的一个spark小文件合并工具，支持text、parquet、orc等格式，分享给有需要的人

Spark 小文件合并优化实践

weixin_45906054的博客

12-25

987

作者：梁世威，同盾科技平台工具部研发工程师，从事开源大数据计算/存储和优化方面的工作。“对spark 任务数据落地(HDFS) 碎片文件过多的问题的优化实践及思考。”此文是关于公司在...

Spark SQL 查询 Parquet 文件的性能提升 30%，字节是如何做到的？

过往记忆大数据

12-16

2522

本文来自11月举办的Data + AI Summit 2020（原 Spark+AI Summit），主题为《Improving Spark SQL Performance by 3...

spark实现hive的合并输入很多小文件为指定大小的大文件的优化功能

xiao_jun_0820的专栏

03-16

9777

源码地址：https://github.com/RetailRocket/SparkMultiTool 找到的先记下来，有空研究一下。

Spark 大/小文件读取优化

allwefantasy的专栏

05-08

2234

问题描述使用Spark写复杂SQL时，我们经常会遇到两个尴尬的情况：表里的单个文件都很大，而且因为record比较小，所以单个文件的record数量巨大。表里每个分区都有成百上千个小文件...

spark-小文件优化

盛源的博客

06-15

470

1. 缓存数据源分区文件信息spark.sql.hive.filesourcePartitionFileCacheSize由于小文件产生的spark job performance问题 - 简书

spark sql 读取hudi表数据参数调优

07-27

在使用 Spark SQL 读取 Hudi 表数据时，你可以通过调优一些参数来提高读取性能和效率。下面是一些常用的参数调优技巧： 1. 分区读取：如果你的 Hudi 表有分区列，可以使用 `option("hoodie.datasource.read....