hive join操作踩坑记-报错信息FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr...

最新推荐文章于 2022-03-02 14:34:46 发布
VIP文章 最新推荐文章于 2022-03-02 14:34:46 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： 踩坑系列 文章标签： hadoop hive hdfs spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44528131/article/details/106968309
版权

#Hive join操作踩坑记

事件经过

使用hive join操作时，肉眼可见同样的操作用时越来越长，同样的操作用时从一百多秒直接飙升到三四百秒，并且有时运行时汇报出错误信息 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)。通过jobhistoryserver的记录显示一些reduce task运行失败了，报错信息为There are 2 datanode(s) running and no node(s) are excluded in this operation。通过搜索得知可能是由于hdfs存储空间不足导致

报错信息

（1）hive报错信息
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
Hive报错信息
（2）jobhistoryserver报错信息
There are 2 datanode(s) running and no node(s) are excluded in this operation.

最低0.47元/天 解锁文章
企鹅在云上
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_37647812的博客
03-26 342
hive数据迁移过程中遇到的问题和解决方法
使用Hive进行join查询的时报错
04-23
NULL 博文链接：https://weigang-gao.iteye.com/blog/2260663
FAILED Execution Error, return code 2 from org
yingzi的技术博客
01-22 1348
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 解决方案①: hdfs dfsadmin -safemode leave 解决方案②： set hive.exec.mode.local.auto=true; 以上的方法，我用了后成功之后，运行其他的任务又报同样的错误了。无解，上http://hadoop102:19888/jobhistory查看历史任务，查找最终原因！！！
hive3的join数据错误
亮仔的专栏
03-02 2805
我们生产使用的hive3.1.2版本，hadoop也是3版本，用户通过使用hive发现join数据错误。分析SQL发现，当3表(含3表)以上，hive join出来的数据是错误。后来我通过测试发现，不管是left join、inner join还是right join，数据都会出现错误，通过后来的其他测试发现，两个表使用in和exists作为条件查询，出来的数据也是错误的。这是hive3的一个重大bug，使用hive3的小心了。 这个bug纠缠了我好久，后来定位出来hive...
Hive 1.2.1000.2.5.3.0-37 跑join语句报错
qq824387335的博客
07-13 520
####情景 select t1.acc_nbr,t1.imsi,t2.x1,t2.y1,t2.x2,t2.y2,t2.gid1,t2.gid2 from xjb.gz_circle_acc_nbr_imsi t1 join xsx.xsx_cdr_t4_2 t2 on t1.imsi=t2.imsi limit 10;  /tmp/etl/hive.log
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
hive-exec-2.1.1.jar
最新发布
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
hive-hbase-handler-1.2.1.jar
09-04
被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....
hive.sql执行文件.rar
05-13
hiveSQL执行文件
hive报错：Both left and right aliases encountered in JOIN
youhuakongzhi的博客
11-05 7214
hive报错：Both left and right aliases encountered in JOIN hive 发布于 2019-06-04 错误原因：两个表join的时候，不支持两个表的字段的 非相等 操作。 解决办法： 1、把不相等条件拿到where语句中 select ... from class_order t1 left join class_order_refund t2 on t1.orderdate>t2.orderdate 可以改写成 select ..
HiveSQL两表join时报Map operator initialization failed异常解决方法
youhaitao_do的博客
11-30 1861
1、报错信息诊断 2、上面是报错的具体信息，当我们看到第一条报错的时候很苦恼，不知道怎么办。这种情况不要被吓到！继续往下看看，寻找自己懂的！看到了后面的Java内存溢出，是不是 大家就恍然大悟，这种情况我们还是很常见的，由于我的hive默认使用tez,tez是运行于内存的，所以两个表join的时候表过大是会出现内存溢出的，那么怎么解决呢？ 1）加内存 2）设置执行引擎为mr，在hiveSQL语句前设置：set hive.execution.engine=mr; 3、那么第一个报错具体是什么
hive org.apache.hadoop.hive.ql.exec.CommonMergeJoinOperator.joinOneGroup 报错
qq_40771567的博客
02-10 896
今天hive任务报错，查看tez后台failed 报错原因是 然后关闭优化器再次尝试 set hive.cbo.enable=false; 运行成功。
hive执行报错：Both left and right aliases encountered in JOIN
maxmao1024的博客
12-11 7876
原因：两个表join的时候，不支持两个表的字段 非相等 操作。 可以把不相等条件拿到 where语句中。 SELECT * FROM T1 LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name...
hive 的udf报错：FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not found
my3187617174的博客
12-09 636
场景描述 使用idea+maven编写hive的udf方法。 报错信息 FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not found FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask 问题原因 1.idea工程模板不对 本人的报错原因是使用了idea的springboot模板，导致package之后的jar包的结构不对，安装 packa
hive的join使用
weixin_41122339的博客
08-15 6919
1，inner join 内连接(inner join)中，只有进行连接的两个表中都存在与连接标准相匹配的数据才会被保留下来。列如，如下我们有两张表员工表(employee)和办公表(office)连接条件是oid字段，内容必须相等，我们也称oid字段这个查询语句中连接关键字。 提供两个表的数据： 我们这里提供两种写法(第一种中的inner join 可以简写 join) 1，sel...
使用 Power BI 可视化 Azure IoT Hub的实时传感器数据
figosoar的专栏
12-01 277
添加一个使用者组，让 IoT 中心做好数据访问准备。 创建、配置和运行流分析作业，以便将数据从 IoT 中心传输到 Power BI 帐户。 创建并发布实现数据可视化的 Power BI 报表。 将Consumer Group添加到 IoT Hub 使用者组提供事件流的独立视图，可让应用和 Azure 服务单独使用同一事件中心终结点内的数据。在本部分中，会将使用者组添加到 IoT Hub的内置终结点，本教程稍后将使用此终结点从终结点中提取数据。 要将使用者组添加到...
一只小白的mac vmfusion虚拟机安装踩坑记
weixin_44528131的博客
06-21 9406
一只小白的mac vmfusion虚拟机安装踩坑记 缘起 新的MacBook pro到了，想到又要重新安装一次虚拟机就感到有些麻烦，一路下来果然踩了不少坑。以下按照步骤及自己踩的坑做一个简单记录。 下载及安装vmfusion 可以直接从官网下载，之后百度搜索一下激活码，还是相对比较好搜索到的。于是就不用使用其他第三方的下载渠道。 安装vmfusion时有一个坑，这个坑第一次在MacBook air上安装虚拟机时也曾经发生过。就是安装完虚拟机启动时，连续报三个错误且虚拟机无法启动。 Could not ope
linux执行hive -e报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
08-18
这个错误是在运行Hive时出现的，报错信息为"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask"。这通常是由于内存不足导致的问题。根据引用中的解决方案，可以尝试以下两种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值