Hive动态分区（Dynamic Partition）导致的内存问题

最新推荐文章于 2023-05-29 17:16:23 发布
最新推荐文章于 2023-05-29 17:16:23 发布
阅读量4.6k 收藏 2
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cold__v__moon/article/details/89360274
版权

在这里插入图片描述## Hive动态分区（Dynamic Partition）导致的内存问题
默认hive.optimize.sort.dynamic.partition是false，hive进行动态分区的时候，可以看见一直在 FileSinkOperator: New Final Path导致内存中保存太多句柄和数据，导致OOM或者内存超被Yarn Kill。开启下面的参数可以缓解内存压力。

hive.optimize.sort.dynamic.partition

  • Default Value: true in Hive 0.13.0 and 0.13.1; false in Hive 0.14.0 and later (HIVE-8151)
  • Added In: Hive 0.13.0 with HIVE-6455
  • When enabled, dynamic partitioning column will be globally sorted. This way we can keep only one record writer open for each partition value in the reducer thereby reducing the memory pressure on reducers.

Container killed on request. Exit code is 137 Container exited with a non-zero exit code 137 Killed by external signal

2019-04-17 16:16:58,358 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181009/own_library_flag=0/000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180909/own_library_flag=0/000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20180909/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180909/own_library_flag=0/000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181001/own_library_flag=0/000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20181001/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181001/own_library_flag=0/000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180906/own_library_flag=0/000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20180906/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180906/own_library_flag=0/000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181127/own_library_flag=0/000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20181127/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181127/own_library_flag=0/000000_0
2019-04-17 16:16:58,436 FATAL [main] org.apache.hadoop.hive.ql.exec.mr.ExecMapper: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {“doc_id”:“V_01KGpTaP”,“id”:-1,“outid”:“V_01KGpTaP”,“source”:“yidian”,“gid”:null,“title”:“​福克斯RS​到底跑多快”,“style”:null,“cover1”:"",“cover2”:"",“cover3”:"",“doctype”:-1,“article_type”:“视频”,“summary”:"",“author”:“绝对的汽车控”,“publishtime”:-1,“expiretime”:-1,“content”:null,“url”:null,“imgcount”:-1,“videoduration”:-1,“originlevel”:100,“computerlevel”:-1,“artificiallevel”:-1,“topcategory”:“汽车”,“secondcategory”:null,“origintags”:"",“computertags”:"",“artificialtags”:"",“secondresource”:null,“origindata”:"",“status”:-1,“mark”:"",“clickcount”:-1,“upscount”:-1,“commentcount”:-1,“sharecount”:-1,“threadcount”:-1,“clickusercount”:-1,“createtime”:1550938435,“createtime_st”:“20190224 00:13:55”,“updatetime”:-1,“updatetime_st”:"-1",“openid”:-1,“sourceen”:"",“base62id”:"",“docattr”:"",“docflag”:"",“similarid”:"",“author_name”:“绝对的汽车控”,“author_level”:-1,“author_type”:-1,“own_library_flag”:0,“import_time”:null}
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:507)
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:170)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:459)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild 2. r u n ( Y a r n C h i l d . j a v a : 164 ) a t j a v a . s e c u r i t y . A c c e s s C o n t r o l l e r . d o P r i v i l e g e d ( N a t i v e M e t h o d ) a t j a v a x . s e c u r i t y . a u t h . S u b j e c t . d o A s ( S u b j e c t . j a v a : 422 ) a t o r g . a p a c h e . h a d o o p . s e c u r i t y . U s e r G r o u p I n f o r m a t i o n . d o A s ( U s e r G r o u p I n f o r m a t i o n . j a v a : 1920 ) a t o r g . a p a c h e . h a d o o p . m a p r e d . Y a r n C h i l d . m a i n ( Y a r n C h i l d . j a v a : 158 ) C a u s e d b y : o r g . a p a c h e . h a d o o p . h i v e . q l . m e t a d a t a . H i v e F a t a l E x c e p t i o n : [ E r r o r 20004 ] : F a t a l e r r o r o c c u r r e d w h e n n o d e t r i e d t o c r e a t e t o o m a n y d y n a m i c p a r t i t i o n s . T h e m a x i m u m n u m b e r o f d y n a m i c p a r t i t i o n s i s c o n t r o l l e d b y h i v e . e x e c . m a x . d y n a m i c . p a r t i t i o n s a n d h i v e . e x e c . m a x . d y n a m i c . p a r t i t i o n s . p e r n o d e . M a x i m u m w a s s e t t o : 100 a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . F i l e S i n k O p e r a t o r . g e t D y n O u t P a t h s ( F i l e S i n k O p e r a t o r . j a v a : 896 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . F i l e S i n k O p e r a t o r . p r o c e s s O p ( F i l e S i n k O p e r a t o r . j a v a : 676 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . O p e r a t o r . f o r w a r d ( O p e r a t o r . j a v a : 815 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . S e l e c t O p e r a t o r . p r o c e s s O p ( S e l e c t O p e r a t o r . j a v a : 84 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . O p e r a t o r . f o r w a r d ( O p e r a t o r . j a v a : 815 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . T a b l e S c a n O p e r a t o r . p r o c e s s O p ( T a b l e S c a n O p e r a t o r . j a v a : 97 ) a t o r g . a p a c h e . h a d o o p . h i v e . q l . e x e c . M a p O p e r a t o r 2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100 at org.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:896) at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:676) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:97) at org.apache.hadoop.hive.ql.exec.MapOperator 2.run(YarnChild.java:164)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(Subject.java:422)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)Causedby:org.apache.hadoop.hive.ql.metadata.HiveFatalException:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledbyhive.exec.max.dynamic.partitionsandhive.exec.max.dynamic.partitions.pernode.Maximumwassetto:100atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:896)atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:676)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:97)atorg.apache.hadoop.hive.ql.exec.MapOperatorMapOpCtx.forward(MapOperator.java:157)
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:497)
… 9 more

cold__v__moon
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高查找效率。为什么这样能够提高查找效率呢？其实是因为Hive存放的数据是没有索引的，如果没有建立分区直接查询，Hive就会暴力查询，效率很低，所以通过分区能很好提高Hive的查询效率。分区还能够更加方便的管理一些特殊数据，例如一些日志数据，可以是一个天一个分区或者一个月一个分区，视数据量而定，这样就能很好地管理日志数据了。 分区表的基本操作 现在有以下数据： 10 A
MapTask、ReduceTask工作机制
liu_1221的博客
09-12 466
——尚硅谷视频笔记 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 （3）Collect收集阶段：在用户编写...
hive 双分区外部表 复合数据结构 样例
11-19
hive双分区外部表复合数据结构博客的数据资料，欢迎下载。
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
修改hive表分区名称
02-17
hive表修改分区数据
hive 写入分区oom
炼数成器
03-14 4389
1.内存优化 列式存储的文件在写入文件之前都会将一定数量的数据缓存在内存中，由于hive每个动态分区目录都会打开一个文件写入器（file writer），所以当存在很多分区的时候，有可能会导致mapper OOM，所以需要增加内存。或者限制每次任务的分区数。另外缓冲区（file buffer）的大小最好跟block一样大，set Parquetbuffer size=blocksize 2.开启hive.optimize.sort.dynamic.partition 通过explain 发现 动态分区跟sq
Hive 插入动态分区表时遇到的一些坑
热门推荐
lzw2016的博客
07-30 1万+
Hive 插入动态分区的问题 insert into table xxx partition(xxxx) select ... 使用动态分区时首先不要忘记的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dyna...
Hive 实战调优参数大全
zhsworld的博客
08-09 716
-- 开启动态分区，写入数据时需要 set hive.optimize.sort.dynamic.partition=true; -- 默认值是strict，默认要求分区字段必须有一个是静态的分区值 set hive.exec.dynamic.partition.mode=nonstrict; -- 控制在同一个sql中的不同的job是否可以同时运行。默认是False set hive.exec.parallel=true; -- 同一个sql允许并行任务的最大线程数。默认是8 set hive.ex.
Hive面试题2:常用hive配置
mr_cuber的博客
01-28 852
目录 1.动态分区 1.启用动态分区
Hive Distribute by 应用之动态分区小文件过多问题优化
张伟的专栏
08-11 2615
Hive Distribute by 应用之动态分区小文件过多问题优化
Hive分区表
01-07
一：简介 分区表就是根据指定字段的值进行...静态分区: 必须手动显式的添加需要分区的字段值, 分类的值有多少个就要添加多少次 (alter table add partition)。静态分区适合分区字段的值比较少的情况。 动态分区：创建表
hive常见参数
RJF20210928的博客
05-29 596
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。set hive.exec.max.dynamic.partitions.pernode=1000 -- 一个 mapreduce job所允许的最大的动态分区的个数。AST：输出查询的抽象语法树。-- 表示同时运行的job的个数。
Hive参数与性能调优
weixin_45017098的博客
04-27 933
在使用Hive时，合理的参数设置和性能调优能够提高查询效率和减少资源消耗。同时，数据分区、数据压缩、合理使用聚合函数、索引和避免全表扫描等方法也是优化Hive性能的重要手段。在实际使用中，应该根据具体业务需求和数据规模选择合适的参数和优化方法，以达到最佳的性能表现。
Hive SQL的编译过程
一个有情怀的程序猿博客
07-15 271
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化Hive SQL，提升..
Hive入门学习之一：Hive的简述与架构
不积跬步，无以至千里；不积小流，无以成江海！
11-08 4255
Hive架构与基本组成     下面是Hive的架构图。 图1.1 Hive体系结构     Hive的体系结构可以分为以下几部分：     （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式
hive动态分区问题总结
雾岛与鲸的博客
07-12 2840
Hive 配置动态分区 insert into table xxx partition(xxxx) select ... 使用动态分区时首先需要的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dynamic.partition.partitions（默认1000） 当前节点可创建的最大分区数 hive.exec.max.
SparkStreaming 消费阿里云日志服务,出现消费中断的情况,跑着跑着就不消费了...
Apache_Jerry的博客
04-10 1857
日志信息 WARN metadata.Hive: No partition is generated by dynamic partitioning WriteAheadLogBasedStoreResult Futures timed out after 这边是表在HDFS中的路径,可以看出,有数据时,会有.hive_stagexxxx 这样的文件, 无数据进来就没有,这时候Streami...
Hive常见问题及解决方案
ZK教皇的博客
05-05 2401
Hive报错如下：Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic part...
hive 动态分区(Dynamic Partition)异常处理
数据之路
11-17 1万+
Changing Hive Dynamic Partition Limits Symptoms: Hive enforces limits on the number of dynamic partitions that it creates.  The default is 100 dynamic partitions per node, with a total (default)
hive动态分区参数设置
最新发布
07-29
Hive动态分区是一种在数据加载过程中自动创建分区的功能。要设置Hive动态分区参数，可以在Hive的配置文件hive-site.xml中进行配置。以下是一些常用的动态分区参数设置： 1. hive.exec.dynamic.partition：设置为true，启用动态分区功能。 2. hive.exec.dynamic.partition.mode：设置为nonstrict，表示动态分区的模式为非严格模式。在非严格模式下，如果静态分区列的值为空，则数据会被写入默认分区；如果静态分区列的值非空，则数据会被写入对应的静态分区中。 3. hive.exec.max.dynamic.partitions：设置动态分区的最大数量。默认值为1000，可以根据实际情况进行调整。 4. hive.exec.max.dynamic.partitions.pernode：设置每个节点上动态分区的最大数量。默认值为100，可以根据实际情况进行调整。 这些参数可以在hive-site.xml文件中进行配置，也可以在Hive命令行中使用SET命令进行临时设置。例如： SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=1000; SET hive.exec.max.dynamic.partitions.pernode=100; 通过设置这些参数，你可以启用Hive的动态分区功能，并根据实际需求设置相关的限制和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值