hadoop提交任务后卡出不懂，停留在accepted

最新推荐文章于 2022-04-18 00:07:28 发布
最新推荐文章于 2022-04-18 00:07:28 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010207995/article/details/107368318
版权

任务截图：报错：

ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

hadoop的启动脚本：

./start-all.sh ./hadoop-daemon.sh start datanode

在50070上看不出毛病

node数据为零。需要启动nodemanager。

启动脚本：

./home/hadoop/hive/hadoop-2.7.7/sbin/yarn-daemon.sh start nodemanager

启动后正常。

 

清明台
关注
专栏目录
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1168
记录一次Spark应用提交后一直无法运行的问题
以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态
weixin_30851409的博客
07-12 2843
问题背景 spark是以客户端的方式安装的，并没有启动spark的mesos集群，这时候的spark就相当与hive客户端。 以local模型和yarn-cluster方式提交任务，都能正确额执行，但是一yarn-client方式就卡在ACCEPTED 问题原因 在网上查了资料，都说是资源不够用，需要调整yarn.scheduler.capacity.maximum-am-resource-per...
hive中执行sql后一直是ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
weixin_43230682的博客
06-04 1661
查看yarn的后台任务都是显示的ACCEPTED： 可以执行建库和建表以及select * 的操作，但是其它的操作就一直卡住了： 原因与解决： 看了网上的博客资料，先是对namenode进行格式化之后重启hive但也还是不行 看日志怀疑是没有资源可分配？ 于是又把给虚拟机的内存从2G增加到8G，并且在hive-site.xml中又增加了对调度器最小和最大资源分配的设置： <property> <name>yarn.scheduler.minimum-allocation-mb
hive操作insert时，accepted状态， return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map...问题处理
minyanping的专栏
04-27 1151
hive (mydb)> insert into custs(id,name) values(1,'LiLei'); Query ID = grid_20190423164217_fc3f0961-0a15-430c-9fce-78999c909f02 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks determi...
解决hadoop提交任务后一直是ACCEPTED状态的问题
qq_39545674的博客
09-28 2907
如果你在安装部署好hadoop之后，提交一个测试例子，但是一直处于ACCPTED状态，不运行，可能原因有以下几种： 1 集群资源不可用 节点不可用 访问hadoop的web界面，端口是8088，看一下active node ，unhealth node情况，如果active node为0，集群节点都是unhealth node的话，就是你的节点资源不可用，可能是节点机器内存爆掉了（90%），清理一下，或者扩容即可 节点访问失败 这个错误很隐蔽，具体原因就是和节点通信不上，也许你在workers文件中配置了i
Hadoop
AcceptedLin的博客
07-14 297
Hadoop分布式并行计算平台，文件系统是HDFS，HDFS实现数据的存储，MapReduce实现数据的分析和处理，可将MapReduce视为是关系型数据库管理系统的补充，MapReduce对非结构化和半结构化数据非常有效。数据本地化是MapReduce的核心特征，MapReduce程序本质上第并行运行的，分为map和reduce两个处理阶段(映射和规约)，输入和输出都是键值对。相对于Hadoop...
在kerberos化hadoop集群提交spark任务
yx_keith的博客
04-30 4797
在kerberos集群上提交 spark任务复杂性远远高于非kerberos集群，提交spark任务分为两种模式：yarn-client和yarn-cluster模式，先简单说明一下这两种模式。 1.yarn-client模式 使用yarn-client模式提交，提交任务的client节点作为spark driver，executor在yarn container中启动，运行日志和状态信息都可以在...
hadoop系列之使用jar命令提交任务
齐梦星空
09-08 2904
文章目录环境启动haoop,并配置远程调试代码解析runJar自定义mapreduce程序 环境 hadoop :1.0.0 java :1.8.0_171 启动haoop,并配置远程调试 指定远程调试监听端口8888 export HADOOP_CLIENT_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,su...
Hadoop集群的执行作业时一直卡着不动问题的解决
qq_44982182的博客
08-05 2962
现象描述：当我们搭建好集群之后，初次执行hadoop作业时成功的，但是过了一段时间之后会一直卡着不能继续执行，想要重启集群，但是考虑到可能会造成数据丢失，这种情况下该怎么办呢。 现象如下： 20/08/04 11:02:53 INFO input.FileInputFormat: Total input paths to process : 1 20/08/04 11:02:53 INFO mapreduce.JobSubmitter: number of splits:1 20/08/04 11:02:5
MapReduce 作业状态卡死 ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
four404的博客
05-24 7049
前言：配置好了yarn后，跑wordcount的例子，但是一直未完成。web页面查看任务状态为：ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 在web页面查看其状态，如果active nodes为0，首先考虑是nodemanager没有正常启动。（下图是已经正常启动后，完成了任务的界面。如果是任务卡死，那么Apps Completed 就是0） #jps 查看当前的进程 如果没有
错误：ACCEPTED: waiting for AM container to be allocated, launched and register with RM
qq_41672628的博客
04-18 1249
ACCEPTED: waiting for AM container to be allocated, launched and register with RM 长时间的这个，需要变更下 这里显示的localhost， 需要yarn-site.xml设置yarn.hostname
hive执行sql后一直处在ACCEPTED: waiting for AM container to be allocated, launched and register with RM.状态
a1833255的博客
07-22 8257
hive执行sql后一直处在ACCEPTED: waiting for AM container to be allocated, launched and register with RM.状态，并且报错返回FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 查看had...
转：集群提交MapReduce作业执行卡住问题解决方案
11-29 2456
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/WYpersist/article/details/80202055 关于MapReduce,Map能完全执行，Reduce执行到一半卡住不执行 住了几个小时，死活停滞不前，发现后根据提示开始排错，进入50030，进入作业发现 这说明作...
Hadoop Yarn详解
hellojoy的博客
01-30 481
https://www.cnblogs.com/lzc-1105m/p/9984122.html 摘要：一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。 一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn.
【Hive】Hive常见问题排查技巧
可乐
08-31 2199
一、作业慢或者有问题，先看Yarn链接 1.作业Pending问题查看 通常是资源问题 ACCEPTED: waiting for AM container to be allocated 表示AM的资源都没有分配 Pending很多，Running很少 队列资源用满情况分类 队列满了，不一定是vcore满，可能是内存满了，使用不合理都是先把内存用满了 解决办法： 1.杀作业,停止不重要作业，保障优先级 2.加队列资源 队列满的情况，有时候是因为用户内存设置太大，建议业务砍内存 Config
mapreduce作业状态一直是ACCEPTED
iteye_6988的博客
09-14 1485
搭建yarn环境后，执行 hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /host1 /out1 执行一直停留在Running job：     打开yarn web 页面http://crxy1:8088/cluster app的作业s...
执行spark-submit时，一直在Application report for application_1599648117906_0005 (state: ACCEPTED)刷新，解决方案
data_curd的博客
09-09 7260
执行任务时，卡在（state:ACCEPTED）这一直不动， 20/09/09 11:15:16 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09 11:15:17 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09
hadoop部分错误记录
未来将会如何
01-01 1118
1.注意每一个hadoop项目都应该有这个log4j配置文件，否则将无法调试   log4j:WARN no appenders could be found for logger 原地址：http://blog.csdn.net/shennongzhaizhu/article/details/50493338 初次使用ubuntu14.04+eclipse(mars)+Hadoop-2....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值