ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.q

最新推荐文章于 2023-12-18 16:25:28 发布
最新推荐文章于 2023-12-18 16:25:28 发布
阅读量4k 收藏 3
点赞数 1
分类专栏： hive 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fresh_man888/article/details/109093939
版权

出现这种错的的原因:

当我们在hive中执行sql语句时,在执行一些复杂的语句时,hive会报以上错误,出现这种错误的原因是,我们用hiveserver2 启动服务端,然后用beeline 去链接hiveserver2服务端是,hive默认给beeline 分配的内存只有256m, 分配的内存太小,导致我们无法运行而报错;

解决办法:

修改hadoop环境配置文件,,修改hadoop分配客户端内存的配置:代码如下:

export HADOOP_CLIENT_OPTS="-Xmx1g $HADOOP_CLIENT_OPTS"

晓晓很可爱
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_37647812的博客
03-26 369
hive数据迁移过程中遇到的问题和解决方法
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
hive报错,FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
worldair的博客
12-18 632
首先,将hadoop下的yarn-site.xml文件复制到hive目录下的conf目录中,然后检查yarn-site.xml配置。yarn.application.classpath的值使用hadoop classpath命令获取然后复制进去,这个是最主要的。其他文章的方法千篇一律,但是弄了之后都没有用。然后那个select查询命令就能执行陈功了。网上找到的解决方法在我这里都没有用。弄完之后重启hive。
hive.sql执行文件.rar
05-13
hiveSQL执行文件
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务（spark on yarn）并且看到并发及资源的分配情况正如自己先前所料的时候，我长舒了一口气，端起杯子拿上手机起身打算去接杯水消遣一下。 然而我一杯温水接完凑在嘴边，眼睛扫了一下手机刚打算痛饮一番的时候，同事在群里惊呼报错的消息就
Node.js: JavaScript based framework. Easy Guide Book
04-28
Node.js: JavaScript based framework. Easy Guide Book by Rick L. English | April 13, 2016 | ASIN: B01E8KVNVW | 75 Pages | AZW3/MOBI/EPUB/PDF The following topics are discussed in this book:  A Brief Overview  Management of Module Dependencies  Require and Exports  Asynchronous Flow Control using Promise  Management of Node.js callback Hell  Promise Methods  Execution of Multiple Instances in a Single Process  LoopBack Node.js Framework  Event Loop Monitoring
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
weixin_56114243的博客
12-15 7407
报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
热门推荐
weixin_48874360的博客
06-28 4万+
hive报错Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
m0_74756715的博客
11-04 5041
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎
hive sql语句报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
OwnYoung的博客
01-03 6548
报错内容：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas 原因：我是创建新表导致，超过58w条记录，近亿的单词量，所以超出yarn的虚拟内存资源分配， yarn资源不足 该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上
解决PHP程序运行时：Fatal error: Maximum execution time of 30 seconds exceeded in的错误提示
10-21
最近做的程序中涉及到的循环比较多且处理的情况较复杂，在运行程序时出现执行超时提示如下：Fatal error: Maximum execution time of 30 seconds exceeded in D:phpAppServwwwsum3test.php on line 3通过在网上搜索...
hive 使用oralce 存储元数据
一只刚刚上路的猿
01-08 726
hive 使用oracle 作为元数据存储的时候，创建表会遇到此错误：  FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception
java入hive库很慢_hadoop – Hive查询太慢而失败
weixin_28725553的博客
03-01 902
我在Hive txt表中执行了“group by”查询select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day;但它显示：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.ap...
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile
qq_43688472的博客
12-18 1186
还有一些其他可能的原因，例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数，例如mapred.map.child.java.opts和mapred.reduce.child.java.opts，以及hive.auto.convert.join等参数，来解决内存不足的问题。最后，建议查看Spark任务的详细日志，以获取更多关于作业失败的具体原因。这可能是由于多种原因导致的，例如内存不足、JSON数据格式错误、缺少JSON Serde等。
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTa
could9的博客
11-29 4083
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 865074b2-2fd8-4af8-a351-393d4c0c20a0 INFO : Completed executing command(queryId=hive_20211129103501_ca7
msck repair error
allen的博客
07-01 664
error: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 解决方法 hive issue 有效方案：set hive.msck.path.validation=ignore;
hive报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
m1913843179的博客
11-20 1万+
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 问题一： 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下M
解决hive load local data报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr
weixin_43205308的博客
04-26 718
在其他node节点是没有这个文件的，所以把文件分发给其他node节点，或者上次到hdfs不要用local。explain可以看到被划分为四个任务。
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
最新发布
01-19
根据提供的引用内容，"ERROR: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" 是Hive执行任务时出现的错误。这个错误通常表示Hive任务在执行过程中遇到了问题，并且返回了错误代码2。 要解决这个问题，可以尝试以下几种方法： 1. 检查Hive日志：查看Hive的日志文件，可以提供更详细的错误信息，帮助定位问题所在。你可以使用以下命令来查看Hive日志： ```shell tail -f /path/to/hive/logs/hive.log ``` 2. 检查Hadoop集群状态：确保Hadoop集群正常运行，并且所有的服务都处于正常状态。你可以使用以下命令来检查Hadoop集群的状态： ```shell hadoop dfsadmin -report ``` 3. 检查Hive配置：确保Hive的配置文件正确，并且与Hadoop集群的配置相匹配。特别是检查以下配置项： - hive.exec.mode.local.auto：设置为false，以确保Hive任务在集群模式下运行。 - hive.execution.engine：设置为mr，以使用MapReduce作为执行引擎。 4. 检查Hive查询语句：如果错误是在执行Hive查询语句时发生的，那么请检查查询语句是否正确，并且符合Hive的语法规范。 5. 检查资源限制：如果Hive任务需要大量的资源（例如内存或磁盘空间），请确保集群中有足够的资源可供使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值