Execution Error,return code 2 from org.apache.haddop.hive.ql.exec.mr.MapRedTask解决办法

最新推荐文章于 2024-07-25 16:59:50 发布
最新推荐文章于 2024-07-25 16:59:50 发布
阅读量2.2k 收藏
点赞数
分类专栏： java 文章标签： hive mr hadoop 微服务 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67393342/article/details/126363847
版权

insert overwrite table XX

1.建表后修改过表结构（增删字段等）后，重新加载数据时报return code2错，元数据和数据文件不匹配导致

解决办法：重建一张新表；

2.解决办法：修改表结构时加cascade

3.若排查定位是内存不足，则到资源充足的库新建表

4.分区错误，比如insert overwrite table app.app_ea_fad_midsmall_tc_all_costbase_detail partition (dp=‘ACTIVE’,dt)动态分区时报错

解决办法：修改成insert overwrite table app.app_ea_fad_midsmall_tc_all_costbase_detail partition (dp=‘ACTIVE’,dt=‘6066-12-31’)即可

转载于:https://my.oschina.net/u/3575262/blog/2250853

本本的香菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
徐磊的博客
01-31 9380
报错 yarn休眠，解决方法：稍微等会，就会反应过来 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X ...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
L. D. Xiao
01-16 6409
Caused by: java.util.regex.PatternSyntaxException: Unclosed character class near index FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched:
HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask
qq_65960840的博客
06-03 314
动态分区的最大数量由hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode控制。本人在使用hive进行大量数据insert表的的时候运行失败并报错：Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask。
Hive中运行任务报错：Error during job, obtaining debugging information...
热门推荐
IT Baicn的博客
01-09 1万+
错误 Ended Job = job_1545829388777_0070 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduc...
Haddop-Hive-Spark问题集合
m0_67391870的博客
09-02 112
set mapreduce.map.child.java.opts=“-Xmx512m”(注:-Xmx设置时一定要用引号，不加引号各种错误)（2）在mysql中执行show variables like ‘%time_zone%’;（7）执行 set global time_zone=‘+8:00’;（5）在mysql中执行 set time_zone=SYSTEM;（6）再次在mysql中执行select now();（9）再次执行hive命令，问题解决。（4）在终端执行date命令。
Hive 整合 Spark 全教程 （Hive on Spark）
weixin_45417821的博客
03-27 1万+
文章目录Hive 引擎简介环境配置 （ssh已经搭好）JDK准备Hadoop准备部署配置集群配置历史服务器配置日志的聚集启动集群LZO压缩配置Hadoop 3.x 端口号 总结MySQL准备Hive 准备Spark 准备Hive on Spark 配置Hive on Spark测试 Hive 引擎简介 Hive 引擎包括：默认 MR、tez、spark 最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带 Hive on Tez 配置：https://blog.csdn.net/we
大数据项目之电商数仓（用户行为数据仓库）
魔法革1996
03-29 3433
第1章 数仓分层概念 1.1 为什么要分层 1.2 分层结构图 数据分层原理 1、ODS层（原始数据层） 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 2、DWD层（明细数据层） 结构和粒度与ODS层保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据），也有公司叫DWI。 3、DWS层（服务数据层） 以DWD为...
apache-hive-2.1.0-bin.tar.zip
05-04
Apache Hive 是一个基于 Hadoop 的数据仓库工具，用于查询、管理和处理大数据集。Hive 提供了一种结构化的数据模型，使得非结构化的海量数据可以通过SQL-like 的查询语言（HQL，Hive Query Language）进行分析。在...
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
C语言必不可少之主函数共2页.pdf.zip
10-29
`main()`函数通常包含两部分：声明部分（declaration section）和执行部分（execution section）。 2. **主函数的形式**： 主函数有几种常见的形式： - `int main(void)` - `int main(int argc, char *argv[])` ...
Hbase映射为Hive外表
07-23 351
作者：振鹭。
Hbase&Hive区别对比
07-23 534
Hbase，其实是Hadoop database的简称，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive，Hadoop数据仓库，通过SQL来处理和计算HDFS的数据，Hive会将SQL翻译为Mapreduce来处理数据，适用于离线的批量数据计算。
三维影像系统PACS源码，图像存储与传输系统，应用于医院中管理医疗设备如CT，MR等产生的医学图像的信息系统
最新发布
爱笑的源码博客
07-25 449
一套C#语言开发，C/S架构的医院PACS系统源码，业务覆盖范围不仅仅包括传统的CT、普放、核磁等放射医学影像科室，还覆盖超声、内窥镜、病理等视频采集图文报告科室。它涵盖了传统PACS和RIS系统的所有功能，以构建全数字化影像科为目标，致力于实现对医院所有影像数据的统一管理、影像检查工作流的自动化，及影像诊断的智能化。
RDMA通信4：MR(Memory Region, 内存区域)基本概念和作用
爱串门的小马驹博客
07-22 994
RDMA通信中MR(Memory Region)指的是由RDMA软件层在内存中规划出的一片区域，用于存放收发的数据。IB协议中，用户在申请完用于存放数据的内存区域之后，都需要通过调用IB框架提供的API注册MR，才能让RDMA网卡访问这片内存区域。MR就是一块RDMA通信过程中申请使用的内存。一个系统中可以有多个MR。1.5 RDMA MR(Memory Region, 内存区域)基本概念和作用_哔哩哔哩_bilibiliMR主要有如下三个作用1、虚拟地址到物理地址的转化2、控制访问权限3、避免换页。
读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis》
buganything的博客
07-23 786
磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供不同对比度(即模式)的图像。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，收集每个患者的所有模式仍然是一个挑战。医学图像合成是一种有效的解决方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。
【MR】现代机器人学-算法库函数解析（C++版截止2024.4.7）
cxyhjl的博客
07-24 1349
算法库提供以下函数的实现NearZero: 判断一个值是否可以忽略为0。ad: 计算给定6维向量的6x6矩阵[adV]。Normalize: 返回输入向量的归一化版本。VecToso3: 返回角速度向量的反对称矩阵表示。so3ToVec: 返回由反对称矩阵表示的角速度向量。AxisAng3: 将指数旋转转换为其单独的分量。MatrixExp3: 将指数旋转转换为旋转矩阵。MatrixLog3: 计...
Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
08-29
"Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"是Hive执行任务时的一个错误。这个错误通常发生在Hive作业执行期间，提示任务执行失败，并返回错误代码2。具体的错误原因可能有很多，其中一个可能的原因是Hive执行过程中出现了内存不足的情况。 为了解决这个问题，可以尝试增加Hive执行任务的内存分配。可以通过设置`mapreduce.map.memory.mb`参数来增加Map任务的内存限制，以便为任务提供更多的内存空间。另外，还可以使用一些Hive的配置参数，如`set hive.exec.dynamic.partition.mode=nonstrict`、`set hive.exec.dynamic.partition=true`、`set hive.exec.parallel=true`、`set hive.support.concurrency=false`来优化任务执行。 另外，还需要检查Hive作业的输入数据以及Hive表的结构是否正确，以确保数据的一致性和完整性。同时，还可以查看Hive的日志和错误信息，以获取更多有关错误的详细信息，从而更好地解决问题。 总之，针对"Hive执行错误，返回代码2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"错误，可以通过增加内存分配、优化Hive执行参数、检查数据和表结构等方式来解决。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask](https://blog.csdn.net/weixin_48874360/article/details/125508644)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_...](https://download.csdn.net/download/weixin_43753599/86508671)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值