Hive 插入数据报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.

最新推荐文章于 2022-11-21 19:50:09 发布
最新推荐文章于 2022-11-21 19:50:09 发布
阅读量2.2k 收藏 4
点赞数 2
文章标签： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/124747794
版权

在这里插入图片描述
看它的报错信息好像是节点没有启动，但是我的节点都启动起来了，使用jps也能查看到节点信息。

使用hadoop dfsadmin -report命令查看磁盘使用情况，发现出现以下问题：
在这里插入图片描述
节点下存储空间都是空的，问题应该就是出现在这了。
查阅资料发现造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致，解决方案：

  1. 分别删除hadoop集群中的所有数据

  • hadoop2
    在这里插入图片描述

  • hadoop3
    在这里插入图片描述

  • hadoop4
    在这里插入图片描述

  1. 使用hadoop namenode -format 格式化hadoop集群
  2. mysql数据库中创建hive数据库
    在这里插入图片描述
  3. 使用schematool -dbType mysql -initSchema格式化hive，最终出现如下图的各种hive元数据信息表
    在这里插入图片描述

在这里插入图片描述
5. 启动hive
在这里插入图片描述
6. 创建hive数据库hive
在这里插入图片描述
7.创建表
在这里插入图片描述
8. 插入数据
在这里插入图片描述
在这里插入图片描述

缘不易
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
09-04
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
11-21 2499
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
weixin_38297853的博客
01-29 8968
Eclispe本地使用JDBC连接hive,查询的时候出现：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误， Hive是基于hadoop的封装,所有,hive在执行hive ql的时候回创建一个hadoop的Job（MapReduce），所以需要操作到h
Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
99滴神
05-06 3853
错误如下： java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:126) at org.apache.hadoop.fs.Path.<init>(Path.java:134) at org.apache.hadoop.mapreduce...
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
u010011737的专栏
12-08 9374
hive 遇到的问题，总结一下： Query ID = grid_20151208110606_377592ad-5984-4f7b-9cfc-9cb2d6be4b6a Total jobs = 1 java.io.IOException: Cannot run program "/home/grid/hadoop-2.6.1-64/bin/hadoop" (in directory "/r
apache-hive-2.1.0-bin.tar.zip
05-04
Apache Hive 是一个基于 Hadoop 的数据仓库工具，用于查询、管理和处理大数据集。Hive 提供了一种结构化的数据模型，使得非结构化的海量数据可以通过SQL-like 的查询语言（HQL，Hive Query Language）进行分析。在...
hive-exec-2.1.1.jar
最新发布
03-14
Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive 提供了一种 SQL 接口来访问数据，这些数据通常存储在 Hadoop 的分布式文件系统...
hive.sql执行文件.rar
05-13
hiveSQL执行文件
apache-hive-2.3.3-bin.tar.gz
04-02
Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户通过SQL-like语言（称为HQL，Hive Query Language）对大规模数据集进行分析和查询。在Hadoop生态系统中，Hive扮演着数据仓库和数据分析的重要角色，尤其适用...
hive-exec-*.jar包
02-27
Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar
apache-hive-2.3.2-bin.tar.gz
08-08
Apache Hive 是一个基于 Hadoop 的数据仓库工具，用于查询、管理和处理存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据集。Hive 提供了一种结构化的数据模型和SQL-like 查询语言（HQL），使得数据分析人员可以...
hive-hbase-handler-1.2.1.jar
09-04
被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....
hive支持json格式的数据.pdf
10-18
在创建表时，如果出现错误 `FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.Cannot validate serde`，说明 Hive 服务端没有 `hive_hcatalog_core_[版本号].jar` 包，需要将该...
[Hue|Hive]return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
wenjun_xiao的博客
05-18 4228
问题 Hue(4.5)查询Hive(1.2.2)的Phoenix外部表运行一段时间之后会报错 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 或者报错 Error while compiling statement: FAILED: RuntimeException org.apache.hadoop.hive
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado
热门推荐
Jamie's Blogs
10-18 2万+
@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
wengyupeng 蜗牛一步一步向前。。。
05-13 1万+
1. 问题 hive> LOAD DATA LOCAL INPATH '/root/data/cities.csv' OVERWRITE INTO TABLE cities;Loading data to table default.cities Failed with exception Unable to move source file:/root/data/cities.cs...
【大数据技术】本质原因之Hive分区表插入数据报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
u011762522的博客
07-28 2599
【大数据技术】分区表插入数据报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Except 1、分区表的分区字段内容里最好不用中文； 2、若出现上述报错，可考虑修改元数据保存格式问题，我的元数据保存在mysql里，可尝试修改mysql里Metastroe所在库的字符编码（目前正研究中） ；.........
linux执行hive -e报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
08-18
这个错误是在运行Hive时出现的，报错信息为"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask"。这通常是由于内存不足导致的问题。根据引用中的解决方案，可以尝试以下两种方法来解决这个问题。 第一种方法是关闭虚拟内存检查。你可以修改yarn-site.xml文件，将yarn.nodemanager.vmem-check-enabled的值设置为false。具体操作如下： ```bash cd /opt/module/hadoop-3.1.3/etc/hadoop vim yarn-site.xml <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> ``` 第二种方法是在mapred-site.xml中设置Map和Reduce任务的内存配置。你可以根据自己的机器内存大小和应用情况修改以下配置： ```bash <property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx1024M</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>3072</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx2560M</value> </property> ``` 通过尝试这两种方法，你应该能够解决"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask"的问题。希望对你有帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask](https://blog.csdn.net/qq_43408367/article/details/128601584)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask](https://blog.csdn.net/weixin_44870066/article/details/123902421)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值