spark SQL读取ORC文件从Driver启动到开始执行Task(或stage)间隔时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案

最新推荐文章于 2022-04-21 08:14:53 发布
最新推荐文章于 2022-04-21 08:14:53 发布
阅读量390 收藏
点赞数
分类专栏： Spark学习笔记 文章标签： spark ORC文件 Driver 时间长
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YF_Li123/article/details/107866225
版权

 

具体请参考：https://blog.csdn.net/aijiudu/article/details/78616064

 

补充：如果以上方式并不能大幅缩短时间，可确认下是否ORC文件个数过多，如果太多的话建议通过合并处理减少ORC文件个数，这样能大幅减少等待时间（可能跟spark读取ORC头文件信息有关，如果个数太多，时间肯定会长）

 

 

 

YF_Li123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark SQL读取ORC文件从Driver启动到开始执行Task(或stage)间隔时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案...
微信公众号：大数据从业者
03-19 163
1、背景： 控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。查看每个文件的stripe个数，500个左右，查询命令：hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks; stripe个数查看命令：hive...
Spark 读取orc 文件原理解析
qq_37527921的博客
08-11 3217
Spark -orc internal spark 基本概念介绍 RDD 直观上，RDD可理解为下图所示结构，即RDD包含多个Partition（分区），每个Partition代表一部分数据并位于一个计算节点 RDD本质上是Spark中的一个抽象类 RDD包含以下成员方法或属性： 1、compute方法 提供在计算过程中Partition元素的获取与计算方式 2、partition的列表 每一个partition代表一个并行的最小划分单元； 3、dependencies列表 描述RDD依赖哪些父RDD生成
spark 读取ORC文件时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案
aijiudu的博客
11-23 1万+
1、背景：     控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。查看每个文件的stripe个数，500个左右，查询命令： hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks; stripe个数查看命令...
从零开始学React Native之数据持久化存储
wang_gwei的博客
01-30 1723
数据持久化就是指应用程序将某些数据存储在手机存储空间中。 AsyncStorage API RN框架为开发者提供了 AsyncStorage API，开发者可以利用它将任意“字符串键值对”保存到存储空间中。 它是简单的，异步的。用它可以取代Android的sharedperference和ios的NSUserDefault。 AsyncStorage存储的数据对该RN应用全局都是可
orc文件读取和写入的pom
08-23
orc文件读取和写入的pom，hive
datax支持读取parquet格式文件，支持写入parquet格式文件，修复读取orc读取数据丢失问题
06-28
新增的对Parquet格式的读取和写入支持意味着DataX现在可以更好地融入大数据工作流程，将数据高效地从一个Parquet文件系统迁移到另一个，或者从其他数据源导入到Parquet，为数据分析和处理提供便利。 其次，提到的...
谨慎修改ORC文件.doc
最新发布
03-06
谨慎修改ORC文件
（orc + snappy / zlib ） 多线程并行合并小文件工具类 （出自：flink自定义合并orc小文件处）
03-04
这种策略可能涉及到读取所有小文件，然后按列进行排序和合并，确保合并后的orc文件仍然保持列式存储的优势，便于查询和分析。同时，多线程并行处理可以显著提高合并效率，尤其是在拥有大量小文件的场景下。 `CTask....
cdh-hive2.1.1版本orc格式表读取包数组越界替换包
05-18
cdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail....
Spark/Scala - 读取 RcFile && OrcFile
BITDDD小栈
04-21 1564
​ 上文提到了MapReduce - 读取 OrcFile, RcFile 文件，这里通过 Java + MapReduce 实现了读取 RcFile 和 OrcFile 文件，后续又遇到MapReduce - 同时读取 RcFile 和 OrcFile 的依赖冲突，也顺利解决，但是平常开发还是习惯 spark 所以改用 spark 实现读取 OrcFile 和 RcFile 以及 Map-Reduce 的功能。......
Spark-SQL 读写Orc 文件
m0_46538284的博客
01-04 3147
读文件 import org.apache.spark.sql.{DataFrame, SparkSession} //通过csv文件创建DataFrame object CreateDataFrameFromOrc { def main(args: Array[String]): Unit = { //创建SparkSession(是对SparkContext的包装和增强) val spark: SparkSession = SparkSession.builder()..
spark源码分析：（二）Spark 读取文件时候的思考。
qq_20064763的博客
03-11 484
当我们使用Spark读取文件的时候，感觉很容易，也很快速。但是，我们想过其中实现的内在原理没？ 目前我总结了，四个小问题，作为思考。 1).RDD创建个数 2).当我们使用textFile Api的时候，指定minPartition=3的时候，为什么系统会创建四个分区，以及四个Task呢？ 3).当Spark读取文件的时候，文件是怎么划分...
spark sql 查询hive task过多导致任务执行缓慢
weixin_43828782的博客
08-21 2441
一、问题 跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示 二、解决 1.排查过程 sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的) select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20 想法1:改
为什么你的Spark应用执行的慢并且失败 - 数据倾斜和垃圾回收
大怀特的博客
11-12 1169
像很多Spark性能上的挑战一样,这些症状也会出现程序处理数据增加而增加. 什么是数据倾斜 在理想的Spark程序,当运行join操作, join key将要平均分布到不同分区, 非常漂亮的组织不同分区来处理. 真实的业务数据是非常罕见这么整齐的组织. 通常结束 ...
spark sql中如何解决并行度低的问题？
zhou12314的专栏
01-05 3254
在spark设置并行度一般通过两种方式来设置： 1.spark.default.parrallelism 2.textFile()传入第二个参数，指定partition数量 使用spark sql的时候会出现什么问题？ 但是如果使用来spark sql,用spark sql的那个stage的并行度，你没办法自己指定，因为spark sql 自己会默认根据hive表对应的hdfs的block,...
Spark支持四种方式从数据库中读取数据
kc87654321的专栏
10-06 5668
目前Spark支持四种方式从数据库中读取数据，这里以Mysql为例进行介绍。 文章目录 [hide] 1 一、不指定查询条件2 二、指定数据库字段的范围3 三、根据任意字段进行分区4 四、通过load获取 一、不指定查询条件 　　这个方式链接MySql的函数原型是： def jdbc(url: String, table: String, p
Spark 查看某个正在执行的或已结束的任务中executor与driver日志
热门推荐
小鹅鹅的博客
07-26 1万+
1. 在web界面上查看 任务正在运行 如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicationId Search 到应用。 点击表格中 Tracking UI 列的History 链接； 点击相关的 ApplicationId 链接，进入到详情页面点击上面的 Tracking URL: History 链...
spark用shell读取hdfs orc文件方式 注册表
06-06
可以使用以下命令在 Spark Shell 中注册 ORC 表： ```scala // 导入 SparkSession import org.apache.spark.sql.SparkSession // 创建 SparkSession val spark = SparkSession.builder() .appName("Read ORC file in Spark Shell") .getOrCreate() // 读取 ORC 文件 val orcDF = spark.read.format("orc").load("hdfs://path/to/orc/file") // 创建临时视图 orcDF.createOrReplaceTempView("orc_table") ``` 其中，`orc_table` 是注册的表名，可以根据需要自行定义。通过这个方式，可以在 Spark Shell 中方便地使用 SQL 查询 ORC 表中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值