使用Hive SQL插入动态分区的Parquet表OOM异常分析

最新推荐文章于 2024-07-15 02:35:07 发布
最新推荐文章于 2024-07-15 02:35:07 发布
阅读量492 收藏 1
点赞数
分类专栏： 大数据问题总结 文章标签： hive sql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43709558/article/details/127245199
版权
1.异常描述

当运行“INSERT … SELECT”语句向Parquet或者ORC格式的表中插入数据时，如果启用了动态分区，你可能会碰到以下错误，而导致作业无法正常执行。

Hive客户端：

Task with the most failures(4):
Diagnostic Messages for this Task:
Error: GC overhead limit exceeded
...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1 HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent:
最低0.47元/天 解锁文章
在路上的小y
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive Distribute by 应用之动态分区小文件过多问题优化
石榴姐yyds
08-25 6286
本文分析了一种由动态分区产生小文件的或是集群中小文件过多的一种解决方案，采用distribute by cast(rand()*N as int)这一方式能很好的解决集群小文件问题，起到了优化作用。对于使用SparkSQL的用户来说，SparkSQL提供了repartition算子来解决这一问题，在这里其实repartition和distribute by的作用一致，在Spark 2.4.0版中提供了Hive中类似的Hint语法...
HiveSQL优化总结
someInNeed的博客
08-03 829
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 目录 列裁剪和分区裁剪 谓词下推 sort by代替order by group by代替distinct group by配置调整 map端预聚合 ...
hive 写入分区oom
炼数成器
03-14 4479
1.内存优化 列式存储的文件在写入文件之前都会将一定数量的数据缓存在内存中，由于hive每个动态分区目录都会打开一个文件写入器（file writer），所以当存在很多分区的时候，有可能会导致mapper OOM，所以需要增加内存。或者限制每次任务的分区数。另外缓冲区（file buffer）的大小最好跟block一样大，set Parquetbuffer size=blocksize 2.开启hive.optimize.sort.dynamic.partition 通过explain 发现 动态分区跟sq
sparksql 往分区表插入数据
最新发布
weixin_37061910的博客
07-15 66
如何实现“sparksql 往分区表插入数据” 1. 介绍 作为一名经验丰富的开发者，我将向你解释如何实现“sparksql 往分区表插入数据”。这是一个非常基础但重要的任务，对于刚入行的小白来说，掌握这个技能是非常有必要的。 2. 流程 首先，让我们来看一下整个过程的步骤： journey title 实现"sp...
Hive动态分区（Dynamic Partition）导致的内存问题
cold__v__moon的专栏
04-17 4694
Hive动态分区（Dynamic Partition）导致的内存问题 默认hive.optimize.sort.dynamic.partition是false，hive进行动态分区的时候，可以看见一直在 FileSinkOperator: New Final Path导致内存中保存太多句柄和数据，导致OOM或者内存超被Yarn Kill。开启下面的参数可以缓解内存压力。 hive.optimize...
【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题
Insist
12-14 1万+
【异常描述】 Task with the most failures(4):  ----- Task ID:task_1479051658015_121922_r_000000 URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790
Hive1.1.0升级至2.3.6 踩坑记录
Deegue
12-20 4058
1、union all 左右字段类型不匹配 Hive尝试跨Hive类型组执行隐式转换。隐式转换支持类型如下表： 例： hive> select 1 as c2, 2 as c2 > union all > select 1.0 as c1, "2" as c1; FAILED: SemanticException Schema of both sides ...
HIVE SQL优化的两个思路
tang_gang的博客
07-25 591
上一篇我们介绍了关系型数据库SQL的优化主要是索引和减少数据量，本文以大家常用的HIVE SQL为基础来介绍如何优化SQL的运行速度。 下面是本次分享的逻辑和顺序： HIVE SQL优化的核心 数据倾斜 大家知道大数据的核心之一就是数据量大，所以数据量很大对于大数据本身不是挑战，否则就不叫大数据了。大数据最怕的就是数据倾斜，所谓的倾斜就是所有的task都放到一个节点（暂且理解为一台机器）去这性，这样大数据的大（分布式集群）的优势就无法发挥出来。就想下面这整图，看着是一堆处理器，实际干..
Hive/HiveSQL常用优化方法全面总结
大数据Hive教程
01-06 740
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。 目录 列裁剪和分区裁剪 谓词下推 sort by代替order by group by代替distin...
hive任务报Error: GC overhead limit exceeded
weixin_48336761的博客
07-06 840
hive的调度任务突然报Error: GC overhead limit exceeded。-XX:+UseConcMarkSweepGC：启用并发标记清除垃圾回收器。-Xmx：设置JVM的最大堆大小。1. 改写SQL代码 ，不在讨论范围。2.优化Java虚拟机。
Hive 插入动态分区表时遇到的一些坑
lzw2016的博客
07-30 1万+
Hive 插入动态分区的问题 insert into table xxx partition(xxxx) select ... 使用动态分区时首先不要忘记的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dyna...
Hive 调优 动态分区调整
大数据流浪法师的学习笔记与分享
11-28 1199
动态分区调整 关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中。Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。 以第一个表的分区规则，来对应第二个表的分区规则，将第一个表的所有分区，全部拷贝到第二个表中来，第二个表在加载数据的时候，不需要指定分区了，直接用第一个...
SparkException: Dynamic partition strict mode requires at least one static partition column
NBA首席形象大使坤坤
03-18 2359
创建表后却无法写入数据？ 报错内容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict at org.apache.spark.sql.hive.exec
hive动态分区问题总结
雾岛与鲸的博客
07-12 3054
Hive 配置动态分区 insert into table xxx partition(xxxx) select ... 使用动态分区时首先需要的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dynamic.partition.partitions（默认1000） 当前节点可创建的最大分区数 hive.exec.max.
Hive使用常见问题&&优化
热门推荐
不管大小写的博客
08-27 1万+
1)内存溢出 map阶段 解决：一般存在MapJoin，设置参数set hive.auto.convert.join = false转成reduce端的Common Join。 shuffle阶段 解决：减少每个reduce处理的数据量，调整参数：hive.exec.reducers.bytes.per.reducer，默认300000000。或调整放在内存里的最大片段所占百分比（set mapr...
hive动态分区插入异常
06-07
关于 Hive 动态分区插入异常，可能有多种原因，以下是一些可能的解决方案： 1. 检查分区字段类型是否匹配：在动态分区插入时，分区字段的类型必须与表定义的分区字段类型相同。如果类型不匹配，可能会导致插入异常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值