hive kill command 和 Hadoop Job infomation 之间的时间间隔很大

最新推荐文章于 2023-03-27 15:49:25 发布
最新推荐文章于 2023-03-27 15:49:25 发布
阅读量397 收藏
点赞数
分类专栏： Hadoop Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haohaixingyun/article/details/106545761
版权
本文探讨了使用HiveKillCommand时遇到的问题，即该命令与HadoopJobInformationforStage-19numberofmappers之间存在长时间间隔的现象。分析指出，原因可能是提交的APPjob数据量过大，而核心数量不足导致处理能力受限，进而造成任务排队等待。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive kill command  和 Hadoop Job infomation for stage-19 number of mappers 之间的时间间隔很大 

 

超过三分钟 ，不知道什么原因

 

A：

提交的APP job 数据过大 ，但是因为 core 数量太小，造成同时处理的APP个数少 造成pending 

【Hadoop】集群运行卡在Kill Command = /opt/module/hadoop-2.7.2/bin/hadoop job -kill job_1582192539192_0001
HR的博客
01-18 2845
当hive运行卡主不动时，报错如下 hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the aver
hive使用count()函数卡在kill command报错：Error during job, obtaining debugging information...
lkx99661014的博客
03-01 2527
本文借鉴：https://blog.csdn.net/qq_41428711/article/details/86169029 Attention： 卡在kill command 百度上有很多 解决的帖子，但是他们的方法解决不了我的问题，所以我仔细观察了一下他们大部分kill command 后面的路径最后都是/bin/hadoop，但我的是/bin/mapred。所以有同样问题的朋友要确认一...
踩坑笔记mp停留在kill Command处
hx741078265的博客
03-12 3457
今天在写shell脚本的时候，里面用到了hive的函数，执行后发现一直卡在kill Command这： 于是各种百度，什么添加空间、修改配置都不好使。。。 最后在yarn上想看看执行情况： 发现我的两个datanode都变成了Unhealth Node(后来被我修复了，恢复成了active node)…Unhealth Node是没法使用的。 解决办法 在我的datanode的虚拟机里删除一些不要的文件，释放一些存储空间，于是重启hadoop刷新一下，让datanode又重新变成了active nod
Hive和Hadoop协作执行任务的工作原理是什么？
zy1992As的博客
06-09 504
今天的大数据培训课程我们讲一下Hive工具。 Hive是基于Hadoop的一个数据仓库工具，主要用来对数据进行抽取、转换、加载操作。HiveQL可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和 reducer无法完成的复杂的分析工作，相对于Java代码编写的MapReduce来说，Hive的优势更加明显。Hive利用Hadoop的HDFS存储数据，利用Hadoop的MapRe
Hive 卡住 Kill Command = //opt/soft/hadoop/bin/hadoop job -kill job_1679903056287_0001
好民小张的博客
03-27 544
Hive 卡主 Kill Command = //opt/soft/hadoop/bin/hadoop job -kill job_1679903056287_0001
Hive 安装部署
小杨的技术博客
04-28 2万+
本次用的是伪集群模式，只用了一台hadoop101。公司电脑配置有点低，伤不起。 本次使用的hive版本1.2.1，下载地址：http://archive.apache.org/dist/hive/ 安装及配置 上传并解压安装包 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-1.2.1-bi...
hive调用MapReduce之后遇到kill command之后卡住
weixin_42158422的博客
03-28 4747
等了n久n久终于报了错误： Query ID = hadoop_20190328191642_10528197-2c1e-4786-b745-10ec1e0515f3 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there’s no reduce operator Starting...
hadoop生态之hive
运维Linux和python
02-18 813
序言大数据的生态包含各种各样的组件，hive是其中之一，hive主要是作为数据仓库的工具，简化相关人员的代码工作，只要编写简单的SQL就可以实现mapreduce效果。...
Ubuntu 20.04.1 LTS安装Hadoop3.3.0和hive3.1.2
hxtog的博客
10-06 3546
大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1 大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。 环境准备 电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8) Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址 软件准备 安装ssh-server :~$ sudo apt install openssh-server 检查ssh是否安装成功 :~$ ssh loc
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4336
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
Hive SQL执行mapreduce任务卡在Kill Command
zhuzuwei的博客
10-11 2290
执行 select sid,count(*) as cn from student group by sid; 任务一直卡住如下： 2020-10-11T14:00:31,407 INFO [main] exec.Task: Kill Command = /usr/local/hadoop-2.7.6/bin/hadoop job -kill job_1602395744321_0002 我的集群部署出错的地方在于hadoop的slaves文件中只配置了2个datanode，而...
Hive执行命令卡在Kill Command 无法运行的解决方案
汤川的万事屋
02-20 4520
执行简单查询select count(*) from test; 任务开始运行之后卡住不动，也不报错，信息如下： hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching ...
hive卡在 kill command不动假死的原因及解决方案
HD243608836的博客
01-02 1万+
hive中执行了select count(1) from table 后，一直无反应。 我部署了一个节点的hadoop(2.6.0)伪分布式系统，然后部署了hive，启动了hadoop和hive之后，通过命令 # hive --service cli   进入hive的客户端， 然后执行一个查询 show tables; hive_focus 显示有这个表，然后我执行 select * ...
Hadoop 文件命令
云计算?
07-13 335
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ hadoop dfs -rmr /user/cl/temp** 上传文件* 上传一个本机/home/c...
hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，
xuxu96
03-31 4048
然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下： Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there’s no reduce operator Starting Job = job_1552895066408_0001, Tracking URL = htt...
kill(杀死)hive进程(job)的2种方法
weixin_42412645的博客
07-26 8548
先去yarn界面查找你要杀死的程序，在最右边ApplicationMaster点进入下面界面 方法1. yarn application -kill application_Id 方法2. hadoop job -kill job_id
如何杀掉当前正在执行的hadoop任务
热门推荐
lxpbs8851的专栏
08-28 4万+
列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently running JobId   State   StartTime       UserName        Priority        SchedulingInfo job_2012
Hadoop 查看/杀掉 Job
千里之行始于足下
11-17 4233
Java的我稍后再补上：通过命令行的方式： 1.查看所有的Job： hadoop job -list 则显示如下一堆的job： JobId State StartTime UserName Priority SchedulingInfo job_201212111628_11166 1 1375083632268 dbs
hive kill command
04-04
The Hive kill command is used to terminate a running Hive job or query. This command is useful in scenarios where a Hive job or query is taking too long to complete or is stuck in an infinite loop. The syntax of the Hive kill command is as follows: ``` KILL [job_id] ``` The `job_id` parameter is the ID of the Hive job or query that needs to be terminated. This ID can be obtained by running the `SHOW JOBS` command. For example, to kill a running Hive job with ID `job_1234`, the following command can be used: ``` KILL job_1234; ``` When the kill command is executed, Hive sends a signal to the running process to terminate it. It may take some time for the process to actually stop, depending on the current state of the job or query. Once the job or query has been terminated, its status can be checked using the `SHOW JOBS` command.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值