如何解决spark写hive慢的问题

最新推荐文章于 2024-08-10 11:07:33 发布
最新推荐文章于 2024-08-10 11:07:33 发布
阅读量1.5w 收藏 19
点赞数 4
文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lulynn/article/details/51543567
版权
本文探讨了在Spark中写入Hive表时遇到的性能问题，特别是INSERT OVERWRITE操作的耗时。通过将数据保存为Hive兼容的textfile格式并使用Hive的LOAD DATA命令，显著减少了写入时间。此外，还提到了针对ORC表的优化策略，包括创建临时表和使用SELECT插入，以实现更快的数据迁移。
摘要由CSDN通过智能技术生成

在使用spark写hive过程中，发现最耗时的部分是将产生的结果写入hive，举个例子，对3g*1G表的join来讲，将结果使用以下方式直接写入hive表需要超过半小时的时间：

dataframe.registerTempTable("result")

sql(s"""INSERT OVERWRITE Table $outputTable PARTITION (dt ='$outputDate') select * from result""")

而整个结果

最低0.47元/天 解锁文章
chenfangfang_2015
关注
Spark 写 Hive table 非常慢【解决】
weixin_30381793的博客
01-26 3408
代码如下： dataFrame.createOrReplaceTempView("view_page_utm")val sql = s""" |insert overwrite table data_lake_v1.urchin_tracking_module PARTITION(cd='$date', tag ='ads') | select p_id, platform, ut...
spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路
weixin_34954140的博客
12-29 1588
在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...
【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-10 687
在大数据处理中，经常需要将数据从临时存储转换到持久化存储中。PySpark提供了丰富的API，允许用户轻松地创建Hive表，并将数据从DataFrame或临时表写入。本文将介绍如何使用PySpark创建Hive表，添加列注释，并从临时表中导入数据。本文介绍了如何使用PySpark创建Hive表，为列添加注释，并从临时表中导入数据。通过示例代码，我们展示了创建表、定义数据类型和注释、以及数据导入的完整流程。希望这篇博客能够帮助您更好地理解PySpark与Hive的集成，并应用于实际的数据存储和管理任务中。
spark直接写hive表速度慢
盛源的博客
10-15 3748
1. sparksql动态分区直接写入hive表速度慢 1 动态写入速度慢的sql set hive.exec.dynamic.partition.mode=nonstrict; insert overwrite table ssjt_test partition(dt) select a,dt from ssjt.test2 where dt>='20200801'; 2. 文件方式写入后, alter方式添加分区 1) 过滤出要删除的目录; 2) 删除要重新覆盖的目录; 3) 文件方式写入(
SparkStreaming写入Hive慢
南风知我意
08-24 1089
数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时间为 1.7 h。 查看 job 状态一直处于 processing, 但是发现该 job 写 hive 的时间也就花费了 30 秒左右，但是该 job 最终执行完的时间远远大于这个时间。 慢慢的，每一批次都要慢几分钟，出现堆积，最终造成数据大面积延迟。
惊!-hive on spark(hive任务)任务慢---竟然有这些原因！
weixin_45912745的博客
08-06 1684
hive性能慢的排查过程，hive on spark 任务慢
spark sql 查看分区_Spark-sql读取hive分区表限制分区过滤条件及限制分区数量
weixin_39974882的博客
12-19 2337
问题描述在开发过程中使用spark去读取hive分区表的过程中(或者使用hive on spark、nodepad开发工具)，部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题解决办法1、自定义规则CheckPartitionTable类，实现Ruletype ExtensionsBuilder = SparkSessionExtensio...
hive on spark执行insert overwrite非常慢
qq_36864672的博客
12-03 5392
把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select * from test1; == Physical Plan == InsertIntoHiveTable M...
简单的spark 读写hive以及mysql
11-30
首先，`SparkToHive.java` 和 `SparkHive.java` 文件涉及的是 Spark 读取和写入 Hive 数据。Spark 支持通过 HiveContext（现在称为 HiveSession）连接到 Hive，这样可以使用 SQL 查询 Hive 表并将其结果转换为 Spark...
spark之读写Hive
qq_56870570的博客
07-10 6767
一、数据准备 1.1 将hive-site.xml拷贝到spark/conf目录下： 分析：从错误提示上面就知道，spark无法知道hive的元数据的位置，所以就无法实例化对应的client。 解决的办法就是必须将hive-site.xml拷贝到spark/conf目录下 1.2测试代码中没有加sc.stop会出现如下错误： ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception ja..
hive on spark mr 数据开发常见问题解决
11-20
在Hive on Spark MR（MapReduce）数据开发中，开发者经常遇到各种问题，这些问题往往阻碍了工作效率。以下是一些常见的问题及其解决方案： 1. **Shuffle in Fetcher#6 错误** 当Hive作业处理大数据量时，可能会...
sparkwithhive读写hive数据库某种报错解决
weixin_45949840的博客
04-17 1991
sparkwithhive读写hive数据库报错解决
spark sql 查询hive task过多导致任务执行缓慢
weixin_43828782的博客
08-21 2491
一、问题 跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示 二、解决 1.排查过程 sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的) select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20 想法1:改
SparkSql 动态插入hive分区表
weixin_52803142的博客
12-09 2102
在编写代码前要有几个前提条件 1.在hive里创建hive分区表并指定分区字段 import org.apache.spark.sql.SparkSession import org.apache.spark.SparkConf object jjjjj { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("jjjjj").setMaster("local") val spa
Spark SQL操作Hive实战
叶小刀
10-24 2683
在目前企业级 Spark大数据开发中,大多数情况下都是采用Hive来作为数据仓库的。Spark提供了对Hive的支持, Spark通过HiveContext可以直接操作Hive中的数据。基于HiveContext,、我们可以使用sql/hql两种方式来编写SQL语句 对Hive进行操作,包括:创建表、删除表、往表中导入数据、以及对表中的数据进行CRUD(増、删、改、査)操作。 下面就开始动...
spark入hudi延迟优化
TNT_wang的博客
05-28 629
最近在做spark入数据湖（hudi）， 最开始使用默认的布隆过滤器索引，延迟总是不能达成要求，看了下原理，如果有比较多的更新，那么每次更新是需要读取base文件中的id来确认是真实的更新写入，因此更新较多的情况下，入湖延迟有比较大的波动。 后来看到了字节贡献的bucket索引，如果使用常规的用法，面临着分桶数需要提前指定，分桶大小难以估计的困难。 ...
一次实践：spark查询hive速度缓慢原因分析并以此看到spark基础架构
热门推荐
小昌昌的博客
02-28 1万+
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢，而代码本身非常简单，就是查询hive 一个视图中的数据，而且通过limit 10限制了数据量。 不说别的，先贴我的代码吧：from pyspark.sql import HiveContext from pyspark.sql.functions import * import json hc = HiveContext
SparkStreaming写入Hive遇到的问题记录
weixin_42155491的博客
04-11 1835
需求：SparkStreaming实时写入Hive 关于怎么写，网上一大堆，我简单点列下代码： SparkConf sparkConf = new SparkConf().setAppName("sparkStreaming-order").setMaster(SPARK_MASTER); sparkConf.set("spark.serializer", "org.apache.spark.se...
解决spark读取hive权限被拒绝的问题
03-16
如果Spark读取Hive时出现权限被拒绝的问题，可以尝试以下解决方法： 1. 确认Hive的权限设置是否正确，包括用户权限和表权限等。 2. 确认Spark连接Hive的用户是否有足够的权限，可以尝试使用具有更高权限的用户连接...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值