Hive报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

最新推荐文章于 2023-11-04 18:28:23 发布
最新推荐文章于 2023-11-04 18:28:23 发布
阅读量2.7w 收藏 12
点赞数 7
分类专栏： 大数据 文章标签： hive MapRedTask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daerzei/article/details/53374605
版权

Hive报错，主要错误信息：

java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

 

 

原因分析：

Hive sql语句过长，并在sql中调用自己本身执行SQL的时候由于Hive是分布式的，MapReduce在不同的机器上运行的快慢有别，Hive识别新老数据的时候出现错误。

解决办法：

将Hive Sql进行拆分，可以创建一个临时表进行中转

 

 

 

荒野雄兵
关注
  • 7
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_37647812的博客
03-26 324
hive数据迁移过程中遇到的问题和解决方法
hive.sql执行文件.rar
05-13
hiveSQL执行文件
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
weixin_56114243的博客
12-15 7394
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
【Hive报错】FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
debimeng
12-13 2072
【场景】 在hive3.1版本下执行以下语句报错 --加载数据到桶表u_demo_bk中 insert into table u_tab_bk_p select * from u_tab; 可是插入到普通表和分区表的语句是能正常执行的。 【原因】 最后才知道是因为资源不足的问题，可是这数据量又不大，有可能hive的机制有关，本来它的场景就是为了解决大数据的问题。 【解决】 最后在主节点修改了yarn-site.xml文件，添加一个参数，即：关闭虚拟内存的检测，最后完整的内容如下： <co
hive-exec-2.1.1.jar
最新发布
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive 提供了一种 SQL 接口来访问数据，这些数据通常存储在 Hadoop 的分布式文件系统（HDFS）中。 Hive 的主要组件包括： Hive Metastore：存储元数据（如表的模式、分区信息等）。 HiveServer2：提供客户端连接和 SQL 查询执行。 Hive Execution Engine：这是实际执行查询的组件，它读取数据，处理查询，并返回结果。 hive-exec-2.1.1 是 Hive 执行引擎的一个特定版本（2.1.1）。这个组件负责解析 SQL 查询，生成执行计划，并协调与 Hadoop 集群的交互以执行这些计划。它还包括了用于数据处理的逻辑和与 Hadoop 组件（如 MapReduce、Tez 或 Spark）的集成。 具体来说，hive-exec 可能包括以下功能： 查询解析和优化：将
hive-hbase-handler-1.2.1.jar
09-04
被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V 错误的问题
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.q
Fresh_man888的博客
10-15 4052
出现这种错的的原因: 当我们在hive中执行sql语句时,在执行一些复杂的语句时,hive会报以上错误,出现这种错误的原因是,我们用hiveserver2 启动服务端,然后用beeline 去链接hiveserver2服务端是,hive默认给beeline 分配的内存只有256m, 分配的内存太小,导致我们无法运行而报错; 解决办法: 修改hadoop环境配置文件,,修改hadoop分配客户端内存的配置:代码如下: export HADOOP_CLIENT_OPTS="-Xmx1g $HADOOP
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
热门推荐
weixin_48874360的博客
06-28 4万+
hive报错Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
m0_74756715的博客
11-04 4842
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎
hive sql语句报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
OwnYoung的博客
01-03 6537
报错内容：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas 原因：我是创建新表导致，超过58w条记录，近亿的单词量，所以超出yarn的虚拟内存资源分配， yarn资源不足 该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
FAILED Execution Error, return code 2 from org
yingzi的技术博客
01-22 1328
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 解决方案①: hdfs dfsadmin -safemode leave 解决方案②： set hive.exec.mode.local.auto=true; 以上的方法，我用了后成功之后，运行其他的任务又报同样的错误了。无解，上http://hadoop102:19888/jobhistory查看历史任务，查找最终原因！！！
解决hive load local data报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr
weixin_43205308的博客
04-26 710
在其他node节点是没有这个文件的，所以把文件分发给其他node节点，或者上次到hdfs不要用local。explain可以看到被划分为四个任务。
hive报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
m1913843179的博客
11-20 1万+
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 问题一： 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下M
java入hive库很慢_hadoop – Hive查询太慢而失败
weixin_28725553的博客
03-01 901
我在Hive txt表中执行了“group by”查询select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day;但它显示：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.ap...
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
01-19
根据提供的引用内容，"ERROR: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" 是Hive执行任务时出现的错误。这个错误通常表示Hive任务在执行过程中遇到了问题，并且...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值