hive 任务查询报错 Reduce operator initialization failed

于 2022-11-25 14:14:57 发布
阅读量887 收藏 2
点赞数
文章标签： hive 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42273045/article/details/128037069
版权

问题 :

hive on spark任务报错Reduce operator initialization failed

语句 : 

 报错 : 

 解决 : 

默认开启了hive.auto.convert.join，但是实际小表大小是hive.mapjoin.smalltable.filesize（默认25M，小表不会超过25M）,sql中大量的 join,可能小表超过25M

可以看到JVM Max Heap Size大小为：3817865216（大约3G）

将hive.auto.convert.join设置成false,关闭优参数即可

山后别相缝
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
大数据学习：Hive数据查询语言.pdf
12-07
Hive数据查询语言 Hive数据查询语言是用于从数据库中查询数据的计算机语言。在Hive中，我们可以通过HiveQL语言查询数据，查询数据的结果会存储在结果集中。 SELECT 语句分析 SELECT 语句是 Hive 数据查询语言中最...
Hive 错误 ---＞Map operator initialization failed
LangLang1111111的博客
08-22 616
代码为: select videoId,category from gulivideo_orc where videoId in ( select * from ( select relatedId_name from ( select relatedId, `views` from
HiveSQL两表join时报Map operator initialization failed异常解决方法
youhaitao_do的博客
11-30 1901
1、报错信息诊断 2、上面是报错的具体信息，当我们看到第一条报错的时候很苦恼，不知道怎么办。这种情况不要被吓到！继续往下看看，寻找自己懂的！看到了后面的Java内存溢出，是不是 大家就恍然大悟，这种情况我们还是很常见的，由于我的hive默认使用tez,tez是运行于内存的，所以两个表join的时候表过大是会出现内存溢出的，那么怎么解决呢？ 1）加内存 2）设置执行引擎为mr，在hiveSQL语句前设置：set hive.execution.engine=mr; 3、那么第一个报错具体是什么
Hive中报错Error in configuring object，InvocationTargetException，Map operator initialization failed可能原因
weixin_51913486的博客
08-25 641
Hive报错java.lang.reflect.InvocationTargetException,Error in configuring object,InvocationTargetException,Map operator initialization failed,Unsupported complex type: MAP
Operator_reduce
weixin_30270889的博客
06-18 109
package com.bjsxt.spark.actions; import java.util.Arrays; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apac...
[Struts2]严重: Dispatcher initialization failed java.lang.RuntimeException
王康的技术博客
12-30 1666
[Struts2]严重: Dispatcher initialization failed java.lang.RuntimeException             今天天非常的冷，在网络中心（我经常蜗居的地方）冻的手都快不能打字了。不过大好的时间不能浪费呀，于是重新琢磨一下struts2。struts2是暑假的时候学习的，但是只是开学的时候做个一个项目，后来一直没用，所以现在忘得也算是差不多了！！不过让人郁闷的是，在搭建的时候就报错了。非常的郁闷呀！具体的错误代码是这样的：严重: Dispatche
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space ...5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
Hive中查询操作
01-20
一、查询语法 查询语句语法： [WITH CommonTable[removed], CommonTableExpression)*] Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference ...
hdfs开启高可用+hive报错
最新发布
02-29
hdfs开启高可用+hive报错
python3 operator模块和functools.reduce
weixin_44056971的博客
03-01 318
operator 模块为 Python 提供了一个 “功能性” 的标准操作符接口. 当使用 map 以及 filter 一类的函数的时候, operator 模块中的函数可以替换一些 lambda 函式. 先import该模块 import operator from functools import reduce ...
hive脚本出现Error: java.lang.RuntimeException: Error in configuring object和Caused by: java.lang.IndexOut...
weixin_33738555的博客
06-12 3225
是在reduce阶段报的错误，详细错误信息是 朱传豪 19:04:48 Diagnostic Messages for this Task: Error: java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(Refle...
【python基础】十个例子学会reduce函数
可可卷的博客
02-08 1793
高阶函数reduce
Map operator initialization failed at org.apache.hadoop.hive.ql.exec.tez.TezProcessor
遥望......
08-10 4154
在hive 执行与dyanmodb相关的操作时，遇到了下面错误 Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1481976368061_0022_1_00, diagnostics=[Task failed, taskId=task_1481976368061_0022_1_00_000000, diagnost
执行Hive SQL时报错：Map operator initialization failed
YongDaiMe的博客
02-20 640
环境：Ambari、Hive（Tez引擎） 报错：Map operator initialization failed 解决办法：在首次执行前添加jar包：add jar /usr/hdp/hive/lib/hive-contrib-3.1.0.3.1.4.0-315.jar
Hive on Tez Map operator initialization failed
weixin_38751513的博客
11-18 1934
Vertex failed, vertexName=Map 1, vertexId=vertex_1574056856044_0011_1_02, diagnostics= » Task failed, taskId=task_1574056856044_0011_1_02_000000, diagnostics= » TaskAttempt 0 failed, info= » Error: Er...
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
风声
08-16 3万+
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因    hadoop分布式配置完毕后，我将主节点的下的hadoop-0.20.1直接导入eclipse，想直接在eclipse中书写程序并直接编译运行于hadoop集群上。今天才发现，这是不可能成功的。因为我忽略了mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时，为了使得各个从节点上能执行task任务(即map
升级jdk8后系统报错解决：java.lang.RuntimeException: java.io.IOException: invalid constant type: 18
热门推荐
rchm8519的专栏
09-24 6万+
今天项目从jdk7升级到jdk8，Tomcat启动竟然报出这个运行时错误。 错误信息：java.io.IOException: invalid constant type: 18 2015-09-17 09:06:16:ERROR localhost-startStop-1 org.springframework.web.context.ContextLoader - Context init
hive metastore canary报错
09-04
当Hive Metastore Canary报错时，这可能是由于以下几个原因造成的。 首先，检查Hive Metastore服务是否正常运行。可以通过查看日志文件或运行命令（如`systemctl status hive-metastore`或`service hive-metastore ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值