执行hivesql reduce任务失败

最新推荐文章于 2022-01-07 09:19:25 发布
最新推荐文章于 2022-01-07 09:19:25 发布
阅读量322 收藏
点赞数
文章标签： hive mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44724453/article/details/117302674
版权

如图所示
在这里插入图片描述

点击失败的任务，进入可查看失败原因

[2021-05-26 19:00:18.590]Container [pid=6061,containerID=container_1622024613586_0011_01_000013] is running 325679616B beyond the ‘VIRTUAL’ memory limit. Current usage: 216.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

解决办法：

在etc/hadoop/yarn-site.xml文件中，修改检查虚拟内存的属性为false，如下：

<property>
    <name>
最低0.47元/天 解锁文章
一杯小周
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hive调用MapReduce任务失败
sky_flying1的博客
09-24 4896
1. Hive简介Hive（蜂巢）Apache Hadoop生态圈的构成之一，其主要功能是基于Hadoop提供MapReduce的类SQL查询。Hive的语法规则和Mysql中SQL的语法规则极为相似，有Mysql使用经验的同学都能轻松上手。 Hive的执行分为本地模式和集群模式。本地模式执行简单的Hive SQL，不需要启动MapReduce程序，如-- 本地模式 select col_name
Hive错误排查经验
qq_20519927的博客
06-02 270
2021-06-02 错误信息1 日志排查 解决方案 （1）在hadoop下的etc/hadoop中的配置文件hadoop-env.sh中修改如下配置： export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS" （2）在hive下的bin目录下的配置文件hive-config.sh中修改如下配置： export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-2048} ...
Hive RCFile合并作业产生重复数据问题
yukangkk的技术博客
06-14 2978
前几天有DW用户反馈，在往一张表（RCFile表）中用“insert overwrite table partition(xx) select ...” 插入数据的时候，会产生重复文件。看了下这个作业log，发现map task 000005起了两个task attempt ，第二个attempt是推测执行，并且这两个attemp都在task close函数里面重命名temp文件成正式文件，而
SQL查询原理与SELECT执行顺序
qq_18287147的博客
09-20 346
一切都是为了性能，一切都是为了业务 一、查询的逻辑执行顺序 (1) FROM left_table (3) join_type JOIN right_table (2) ON join_condition (4) WHERE where_condition (5) GROUP BY group_by_list (6) WITH {cube | rollup} (7) HAVING having_condition (8) SELECT (9) DISTINCT (11) top_..
SQL转化为MapReduce的过程
cjl的博客
03-08 2625
SQL转化为MapReduce的过程MapReduce实现基本SQL操作的原理1. Join的实现原理2. Group By的实现原理3. Distinct的实现原理SQL转化为MapReduce的过程SparkSQL执行过程Hive的特征Hive 和关系型数据库的区别Hive的优势hive中 排序的种类和适用场景hive中split、coalesce及collect_list函数的用法（可举例）？如何交换两个数字，没有额外空间 MapReduce实现基本SQL操作的原理 Join/GroupBy/Orde
spark笔记.zip
04-23
7. Spark Shuffle过程：Shuffle是Spark中数据重新分布的过程，涉及到reduce任务的输入划分。优化shuffle可以减少网络传输和数据写入的开销，提高整体性能。 8. 性能调优：Spark性能优化包括调整executor数量、内存...
传统的海量数据分析方案.pptx
10-07
Reduce任务将Map的输出作为输入，进行必要的计算，如求和、平均等，最终生成结果。MapReduce具有良好的容错性，即使部分节点故障，系统也能通过重新执行失败的任务保证作业的顺利完成。 在Hadoop生态中，还有诸如...
基于MapReduce算法的大数据技术研究.doc
06-21
如果一个节点保持沉默超过一个预设的时间间隔，主节点就会认定该节点为失败，并重新分配任务。 基于MapReduce算法的大数据技术研究摘要指出，MapReduce是通过执行Map和Reduce两个阶段把大数据分割成小数据族，再...
MapReduce技术揭秘.pptx
10-14
- 高容错性：如果某个节点失败，任务可以被重新调度到其他节点执行。 然而，早期的MapReduce（如Hadoop的MapReduce v1）存在一些问题，如JobTracker的单点故障和资源管理效率低下。为解决这些问题，Hadoop引入了...
spark的源码包.zip
08-10
如果某个任务失败，可以根据其依赖关系重新计算丢失的RDD。 10. **Spark部署模式**：Spark可以运行在多种模式下，包括本地模式、独立模式、YARN、Mesos和Kubernetes，以适应不同的集群环境。 通过对Spark源码的...
不为人知的reduce()方法
weixin_34124577的博客
05-15 734
我也是最近才知道有reduce方法，reduce方法是干嘛的，查了一下文档，原来可以做好多事情。可以把很多面试的算法题变简单。1、语法arr.reduce(callback,[initialValue])复制代码reduce 为数组中的每一个元素依次执行回调函数，不包括数组中被删除或从未被赋值的元素，接受四个参数：初始值（或者上一次回调函数的返回值），当前元素值，当前索引，调用 reduce 的数...
【hive异常处理】mapreduce执行过程中出现回退
一往无前
03-31 1652
reduce过程： 0~33%阶段是shuffle过程，数据从 mapper --> reducer。 33~67%阶段是sort的过程，在mapper完成后才会执行。 67%~100%阶段是真正的reducer程序的执行过程。 如果MR在 >67%阶段卡住不动，则说明reduce一个都没有执行。可能是输入的数据量过大。 如果MR过程中reduce回退，有可能是偶发性的red...
SQL 中函数 REPLACE() 的用法及实例
热门推荐
蓝星部队的博客
11-08 15万+
一、定义：   官方语法： REPLACE ( string_expression , string_pattern , string_replacement )   参数含义： string_expression 要搜索的字符串表达式。string_expression 可以是字符或二进制数据类型。 string_pattern 是要查找的子字符串。string_pattern 可以是字符或二进...
Hive：优化Reduce，查询过程；判断数据倾斜，MAPJOIN
博樽
11-12 1905
数据存储格式、Reduce的优化、、MAPJION、数据倾斜原因、特点、定位
SQL转MapReduce的过程及执行顺序
weixin_36190755的博客
10-10 1211
SQL转化为MapReduce的过程 一起来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段： Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree 遍历AST Tree，抽象出查询的基本组成单元QueryBlock 遍历QueryBlock，翻译为执行操作树OperatorTree 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量 遍历O.
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
weixin_43542605的博客
01-07 3996
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive SQL中的MapReduce有几个Reduce任务
alike_u的博客
02-28 613
源码分析 分析三个In Order to的默认值是怎么来的 1 2 3 4 5 6 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducer
MapReduce实现基本SQL操作的原理-join和group by，以及Dinstinct
a11123939的专栏
02-03 1万+
详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的原理 Join的实现原理 select u.name, o.orderid from order o join user u on o.uid = u.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下
HiveSQL底层Mapreduce的执行过程
孙大迪迪的博客
12-20 5021
select 语句执行 分析购买苹果手机iphone7的情况 select order_id,buyer_id,cate_name from order_table where day=‘20170101’ and cate_name=‘iphone7’; 输入分片：在实际项目中，订单表通常会进行分区，一般按照自然天进行分区，SQL限制day=20170101实际上就限制了day=20170101...
hivesql执行过程
最新发布
08-12
Hive SQL的执行过程主要包括以下几个步骤： 1. SQL解析：首先，Hive会对用户输入的SQL进行解析，将其转化为Hive内部的抽象语法树（AST）表示形式。这个过程包括词法分析和语法分析，以及对SQL语句中的各个元素进行校验。 2. 语义分析：在语义分析阶段，Hive会对AST进行进一步的处理，包括语义检查、表和列的解析、权限验证等。同时，Hive还会对查询中的表进行统计信息的收集，以便做出优化决策。 3. 查询优化：Hive会根据收集到的统计信息和查询的特性，进行一系列优化操作，包括选择合适的物理执行计划、重排执行顺序、剪枝无用的列和表等。优化的目标是降低执行成本，提高查询性能。 4. 生成执行计划：在生成执行计划阶段，Hive会根据优化后的查询逻辑，生成对应的物理执行计划。这个执行计划通常以MapReduce或Tez的形式表示，其中包含了一系列的Map和Reduce操作、数据的输入输出路径等。 5. 调度执行：执行计划生成后，Hive会将该计划提交给底层的计算引擎（如MapReduce或Tez）进行执行。计算引擎会负责根据执行计划指导任务的并行执行，将数据从输入路径读取到内存中，经过一系列的转换和计算操作后，将结果写回到输出路径。 6. 结果返回：计算引擎执行完毕后，Hive会将计算结果返回给Hive的驱动程序（Driver），然后通过用户界面（UI）将结果展示给用户。 综上所述，Hive SQL的执行过程包括SQL解析、语义分析、查询优化、生成执行计划、调度执行和结果返回等步骤。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hive SQL的底层编译过程详解](https://blog.csdn.net/helloHbulie/article/details/117283369)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯小周

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值