Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

最新推荐文章于 2023-05-14 10:32:41 发布
最新推荐文章于 2023-05-14 10:32:41 发布
阅读量923 收藏
点赞数
分类专栏： Hive 大数据项目 文章标签： hive hadoop 数据仓库
CSDN@WHYBIGDATA
本文链接：https://blog.csdn.net/m0_52735414/article/details/126996891
版权

Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

文章目录

在这里插入图片描述

0. 写在前面

  • Hadoop：Hadoop2.9.2
  • Hive：Hive2.3.7

1. 实验场景

离线数仓之留存会员

1. 留存会员与留存率说明

某段时间的新增会员，经过一段时间后，仍继续使用应用认为是留存会员

这部分会员占当时新增会员的比例为留存率

2. 需求：1日、2日、3日的会员留存数和会员留存率

30 31 1 2 ----
10w新会员 3w
了解本专栏 订阅专栏 解锁全文 超级会员免费看
WHYBIGDATA
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Hive Code2报错排查
tyh1579152915的博客
06-08 2792
大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
hive - return code （数字） from org.apache.hadoop.hive.ql.exec错误系列集合
a123147abc的博客
04-20 6592
hvie - return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://XXX to destination hdfs://xxx 原因：执行hive任务的用户对hdfs://xxx没有操作权限 解决：对目录授权 命令：hdfs dfs -chown -R use:group hdfs://xxx ...
hive报错--code1/2/3
qq_46893497的博客
12-21 8395
return code 1 原因： 'Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask' 报错是抄的，多次实践证明，执行hive sql ERROR 返回 return code 1 基本上是执行的HQL无法加入到对应的用户队列中。 解决方法 1： 执行HQL前，加入 set MapReduce.q
Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
BIG BOSS的博客
09-17 619
hive运行查询语句时报错： Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at or...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
weixin_43579015的博客
05-11 7842
hiveserver2中运行命令报错 Execution Error 解决办法、 1、调大虚拟机内存，单台节点至少1G可用，调大虚拟机内存不需要关机，调小需要关机，如果上限只有XG，不能调大，关机再调，再调节MapReduce单个任务分配的内存分配的内存大小 set mapreduce.map.memory.mb=2048; set mapreduce.reduce.memory.mb=2048; 2、yarn-env。sh增加JAVA_HOME(注意发送到另外两台服务器) export JAVA_HOM
Hive执行job时return code 2排查
sky 胡萝卜星星
10-17 1万+
项目测试时，在执行Insert语句时，突然报return code 2错误导致job停止，头一次碰上这种不明觉厉的问题，有问题上百度、bing，首先查到的是Hive jdbc执行insert语句时报 code=1 ,code=2 错误解决方法，看了下，目前还是在hive shell模式下执行，应该不是这问题，而且将insert部分去除，只保留select部分还是报return code 2错误
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 通过控制台的...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
hive-shell批量命令执行脚本的实现方法
09-15
今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
HIVE return code 1、2、3
热门推荐
wingman91的博客
12-02 2万+
return code 1  原因：       'Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask'            报错是抄的，多次实践证明，执行hive sql ERROR 返回 return c...
hive在操作表时（如insert into table）关于return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误
Therefore的专栏
03-28 5996
1.解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误 在启动hive后，使用select查询语句进行查询时，爆出如下错误： INFO: Number of reduce tasks determined at compile time: 1 INFO: In order to change th...
Hive中常见的脚本
lihuazaizheli的博客
09-15 1024
HIVE中创建脚本
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
X_PENG_7的博客
05-14 1060
第三步：schematool -dbType mysql -initSchema （初始化MySQL数据库，重新指定数据库）第二步：重新创建metastore(create database metastore;) 退出quit;第一步：在mysql删掉metastore(drop database metastore;第四步：再次进入hive 创建表，添加数据。
使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法
wangxizhen123的博客
04-10 1万+
当我使用hive进行如下查询时 select * from t_t inner join t_te on t_t.id=t_te.id;出现如下错误：Query ID = root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1 Total jobs = 1 18/04/10 19:31:20 WARN conf.Configuration:...
CDH Hive执行聚合函数报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask脱坑指南
妖精小狗的博客
08-23 7657
一、组件版本 我用的是CDH5.16.1，Hive版本是1.1.0 二、出现问题 1. 问题一 普通查询很正常但是聚合查询就会报错，然后去查找日志发现在本地没有\tmp\logs文件，这个文件是用来存放Yarn的log日志的地方，之后查看CDH文档发现yarn的job日志同一存放在【http://XXXX（自己的节点IP）:19888/jobhistory】中找到报错的job。打开发现报错...
Hive的hql命令的三种执行方式
xieganyu3460的博客
09-19 4338
Hive的hql命令的三种执行方式： 1、CLI 方式直接执行 shell 中键入hive，即可启动hive的cli交互模式 2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”） hql作为字符串在shell脚本中执行，如 hive -e "use ${database};select * from tb" ...
return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
最新发布
12-23
根据提供的引用内容，"return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" 是一个Hive错误，表示在执行MapReduce任务时出现了错误，并且返回代码为2。这种错误通常与Hive查询或作业的执行有关。 要解决这个问题，可以尝试以下几个步骤： 1. 检查Hive日志：查看Hive日志以获取更多详细信息，了解错误的具体原因和上下文。日志通常位于Hive的日志目录中，可以使用以下命令找到日志目录： ```shell hive --service metastore ``` 在日志目录中查找包含错误信息的日志文件，并查看其中的错误堆栈跟踪和其他相关信息。 2. 检查Hadoop集群状态：确保Hadoop集群正常运行，并且所有必需的服务和组件都处于活动状态。可以使用以下命令检查Hadoop集群的状态： ```shell hadoop dfsadmin -report ``` 确保没有任何故障或错误报告，并且所有节点都处于正常状态。 3. 检查Hive配置：检查Hive的配置文件，确保所有必需的配置项都正确设置。特别是，确保Hive的元数据存储（例如MySQL或Derby）可用，并且Hive的配置与元数据存储的配置一致。 4. 检查查询语句：如果错误发生在执行查询语句时，检查查询语句本身是否正确。确保查询语句中的表名、列名和语法都是正确的，并且与Hive表的定义相匹配。 5. 检查资源限制：如果错误发生在执行作业时，检查Hadoop集群的资源限制。确保作业所需的资源（例如内存、CPU等）可用，并且没有超过集群的限制。 这些是解决"return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"错误的一些常见步骤。根据具体情况，可能需要进一步调查和排除其他可能的问题。如果问题仍然存在，请提供更多详细信息以便进一步帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值