hive sql 卡在提交JOB，mapreduce无法正常执行。

最新推荐文章于 2022-04-05 11:07:09 发布
最新推荐文章于 2022-04-05 11:07:09 发布
阅读量3.8k 收藏 22
点赞数 10
文章标签： hadoop hdfs hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43930715/article/details/109765454
版权
当Hive SQL涉及MapReduce时，作业提交阶段卡住，排查包括日志、集群状态、服务运行、Job数量、磁盘使用等。发现由于HDFS磁盘空间不足，特别是/tmp/hive/user目录占用过大，导致Datanode亚健康。解决方案是删除临时文件以释放磁盘空间，使得MapReduce能正常执行。
摘要由CSDN通过智能技术生成

hive sql卡住，mapreduce不执行

在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。
而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。
在这里插入图片描述

解题思路

首先我查看相关日志，日志中也没有出现error。然后我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧是卡死在提交job的地方。这里可以确定是集群出现问题。
在这里插入图片描述

我查看是否是因为我的集群没有正常的启动，使用 jps 命令查看各个节点的服务信息，发现相关服务正常启动。然后查看hadoop是否处在安全模式 hadoop/bin/hdfs dfsadmin -safemode get 命令。发现并没有。
在这里插入图片描述

然后我查看是否是因为之前提交的job没有正常的结束，过多的job导致我无法提交新的job，使用 hadoop job -list 和 yarn application -li

最低0.47元/天 解锁文章
姚姚姚。
关注
  • 10
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
hive任务卡在个别reduce的问题分析
快乐程序员的专栏
09-29 1万+
最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：
Hive调用MapReduce任务失败
sky_flying1的博客
09-24 4923
1. Hive简介Hive（蜂巢）Apache Hadoop生态圈的构成之一，其主要功能是基于Hadoop提供MapReduce的类SQL查询。Hive的语法规则和Mysql中SQL的语法规则极为相似，有Mysql使用经验的同学都能轻松上手。 Hive的执行分为本地模式和集群模式。本地模式执行简单的Hive SQL，不需要启动MapReduce程序，如-- 本地模式 select col_name
hive启MapReduce失败
小小鱼
11-13 777
hive启MapReduce失败 一、首先排查hadoop日志IP:50070/logs/ 1.如果NN或SNN日志异常，一般需要重新格式化NN，删除tmp文件(就是删除镜像文件和日志文件，name里放的是edit_log和fsimage，data是数据文件，日志后面的时间戳和数据文件的时间戳对不上了就会出错，删除之后里面的文件都没了，并且权限也恢复为默认的) 2.然后进入sbin/hdfs namenode -format格式化 3.授权：hdfs dfs -chmod -R 777 / 4.重新启动服务
Hive：简单查询不启用Mapreduce job而启用Fetch task
zhoulixin8的专栏
07-06 309
我们都知道，启用MapReduce Job是会消耗系统开销的。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似SELECT from LIMIT n语句，不需要起MapReduce job，直接通过Fetch task获取数据，可以通过下面几种方法实现： set hive.fetch.task.conversion=more; 开启了Fetch任务，所以对于上述简单
hive sql跑起来后似乎卡住 drop也 drop不掉hive table
fairynini的博客
01-27 694
最近遇到的问题是 hive sql跑起来后似乎卡住，没有一点反映。 insert overwrite table tmp SELECT 字段，udf(字段) FROM (select * from tableA where DEL_FLAG = 0 ) a left JOIN tableB t ON a.key= t.key 测试select语句是完全没有问题的， 那么可以锁定是表的问题 create table xxx SELECT 字段，udf(字段) FROM (select * f
hive 运行mapreduce任务报错
qq_36928258的博客
05-11 853
近期由于公司大数据集群有很多历史遗留顽疾，进行了新旧集群的数据迁移。 前期进行了大数据新集群的搭建，接下来在跑hive任务的时候，发现了一个让人头痛的问题。可以看一下执行sql select substr(even_ttime,0,10) from ods_ods.ods_ods_ishare_log发现直接就报错。然后查看yarn的运行日志如下： 顿时一脸懵逼，因为上面的报错class是缺少其中的哪一个根本就不知道，在排查的过程中，1、...
Hive SQL转化为MapReduce执行计划深度解析
i000zheng的博客
07-18 8122
目录 1. MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2. SQL转化为MapReduce的过程 2.1 Phase1 SQL词法，语法解析 2.2 Phase2 SQL基本组成单元QueryBlock  2.3 Phase3 逻辑操作符Operator和逻辑操作树Operator...
hivesql的几种优化的方法
寒夜二十五
04-05 2815
目前项目中由于数据量巨大，导致一个sql要跑一个多小时，所以找了些可以优化的点，记录下来，以后方便使用。 1.map的优化，job在map task的过程时间较长 set mapreduce.map.memory.mb=8240; set mapreduce.reduce.memory.mb=8240; set hive.merge.mapfiles=false; set mapreduce.input.fileinputformat.split.maxsize=50000000; set hive.e
Hive SQL底层执行过程详细剖析
m0_57468722的博客
10-31 273
Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 MapReduce、Spark 或 Tez 执行查询。 我们今天来聊的就是 Hive 底层是怎样将我们写的 SQL 转化为 MapReduce 等计算引擎可识别的程序。了解 Hive SQL 的底层编译过程有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力
hive sql语句执行原理
u013122565的博客
06-29 4534
大致理解为：hive会对写好的sql语句进行拆解，按执行顺序拆分成树结构(AST)交给mapreduce处理 hive对不同DML/DDL关键字有不同的反应，比较敏感的有select、from、join、group by、distinct、insert等 对查询语句，hive首先会先根据from找到数据源（metastore），然后从查询内部开始找用到的字段及其类型，看语句要求对字段直接处理（
hive sql 卡在提交JOB
只是甲的博客
03-12 1588
备注: Hive 版本 2.1.1 文章目录一.问题描述二.问题解决2.1 首先想到的是重启大法2.1 查看正在执行的job三.验证参考 一.问题描述 之前开始归档，然后job卡住，我直接其它CTRL + C退出，后面运行mr job都卡在提交job的环节 hive> select * from emp where empno = 7369; Query ID = root_20201224123252_93210ca3-928f-49e7-9cf4-d442d2a6ca3e Total jobs
Hive无法执行MapReduce任务
MCY的博客
01-05 1516
检查HDFS和yarn集群否工作正常，基本都是yarn没启动或者服务挂掉了，实在不行重启hadoop集群即可，保证HDFS和yarn集群的工作正常
hive简单查询语句能够执行，但是需要调用MapReduce的时候就卡住了
weixin_43537911的博客
09-10 5445
FAILED: SemanticException [Error 10004]: Line 1:16 Invalid table alias or column reference ‘id’: (possible column names are: s_id, s_name, s_birth, s_sex) hive (hadoop)> select distinct s_id from s...
Hive-为什么没有启动MapReduce任务
早睡早起的Hadooper
06-07 4159
Hive-fetch task 优化 hive.fetch.task.conversion hive.fetch.task.aggr hive.fetch.task.conversion.threshold
Hadoop 3.1.3 集群搭建踩坑记录 --Hive无法调用mapreduce
大数据研究小白
01-13 813
hive hadoop集成
Hive分区表count(*)不起mapreduce的真相
勤能补拙
10-31 5396
问题背景： 在对Hive求count(*)时，发现有些表会启mapreduce计算、返回 结果，比较耗时，有的表1秒之内返回结果 刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。 后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch
Hive执行复杂查询突然卡住不动解决办法
zp17834994071的博客
09-02 7246
有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill. 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死. 查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小. 这时时候就要到hadoop的安装目录下的/etc
Hive执行hql任务时，一直卡在mapreduce提交job处
sdjkjsdh的博客
02-02 7377
问题描述： Job Submission failed with exception 'java.net.ConnectException(Call From hadoop102/192.168.161.102 to hadoop103:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more d...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值