hadoop集群job出现一个奇怪的问题

最新推荐文章于 2021-05-10 12:03:18 发布
最新推荐文章于 2021-05-10 12:03:18 发布
阅读量3.4k 收藏
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenyi8888/article/details/17452053
版权

今天集群的job运行出现了一个奇怪的问题，集群监控如下：

通过各个节点的执行状态，日志信息如下：

2013-12-20 06:38:49,580 [Main Thread] INFO org.apache.hadoop.mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@81c4d9c
2013-12-20 06:38:49,697 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: ShuffleRamManager: MemoryLimit=1932735232, MaxSingleShuffleLimit=483183808
2013-12-20 06:38:49,714 [Thread for merging in memory files] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Thread started: Thread for merging in memory files
2013-12-20 06:38:49,716 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Need another 104 map output(s) where 0 is already in progress
2013-12-20 06:38:49,717 [Thread for polling Map Completion Events] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Thread started: Thread for polling Map Completion Events
2013-12-20 06:38:49,718 [Thread for merging on-disk files] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Thread started: Thread for merging on-disk files
2013-12-20 06:38:49,718 [Thread for merging on-disk files] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Thread waiting: Thread for merging on-disk files
2013-12-20 06:38:49,719 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 0 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:38:54,721 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 12 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:38:55,271 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 12 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:38:55,277 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and64 dup hosts)
2013-12-20 06:38:55,278 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 7 outputs (0 slow hosts and15 dup hosts)
2013-12-20 06:38:55,279 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and56 dup hosts)
2013-12-20 06:38:55,281 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and48 dup hosts)
2013-12-20 06:38:55,283 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and53 dup hosts)
2013-12-20 06:38:55,283 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 4 outputs (0 slow hosts and21 dup hosts)
2013-12-20 06:38:55,283 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 3 outputs (0 slow hosts and43 dup hosts)
2013-12-20 06:38:55,284 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and40 dup hosts)
2013-12-20 06:38:55,284 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 3 outputs (0 slow hosts and17 dup hosts)
2013-12-20 06:38:55,284 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and42 dup hosts)
2013-12-20 06:38:55,284 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 3 outputs (0 slow hosts and29 dup hosts)
2013-12-20 06:38:55,285 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and27 dup hosts)
2013-12-20 06:38:55,285 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and38 dup hosts)
2013-12-20 06:38:55,285 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 4 outputs (0 slow hosts and14 dup hosts)
2013-12-20 06:38:55,286 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 3 outputs (0 slow hosts and7 dup hosts)
2013-12-20 06:38:55,286 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and26 dup hosts)
2013-12-20 06:38:55,287 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 3 outputs (0 slow hosts and13 dup hosts)
2013-12-20 06:38:55,287 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and16 dup hosts)
2013-12-20 06:38:55,290 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 4 outputs (0 slow hosts and2 dup hosts)
2013-12-20 06:38:55,291 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and11 dup hosts)
2013-12-20 06:38:55,291 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and11 dup hosts)
2013-12-20 06:38:55,292 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and10 dup hosts)
2013-12-20 06:38:55,293 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and2 dup hosts)
2013-12-20 06:38:55,293 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and2 dup hosts)
2013-12-20 06:38:55,294 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and8 dup hosts)
2013-12-20 06:38:55,294 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and6 dup hosts)
2013-12-20 06:38:55,295 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and7 dup hosts)
2013-12-20 06:38:55,295 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and5 dup hosts)
2013-12-20 06:38:55,296 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and5 dup hosts)
2013-12-20 06:38:55,297 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and5 dup hosts)
2013-12-20 06:38:55,298 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and5 dup hosts)
2013-12-20 06:38:55,299 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and5 dup hosts)
2013-12-20 06:38:55,307 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and4 dup hosts)
2013-12-20 06:38:55,349 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and1 dup hosts)
2013-12-20 06:38:55,358 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and1 dup hosts)
2013-12-20 06:38:55,359 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and1 dup hosts)
2013-12-20 06:38:55,497 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:39:01,330 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:39:17,041 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 2 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:39:23,312 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:39:38,313 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Scheduled 1 outputs (0 slow hosts and0 dup hosts)
2013-12-20 06:39:53,316 [Main Thread] INFO org.apache.hadoop.mapred.ReduceTask: attempt_201311152318_24026_r_000000_0 Need another 8 map output(s) where 0 is already in progress

 此log一直执行，被阻塞着，导致了其他任务执行速度变慢

fish_cool
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过Hadoop的API管理Job
dajuezhao的专栏
07-07 1万+
一、背景前些时候写了一篇这样的文档，由于当时的时间比较紧，且有些细节内容不太好细说，于是写的比较粗。之后也有些朋友发邮件给我，问我要详细的过程以及管理方式。于是，今天就像把这个内容细化，写在这里，供大家参考。二、环境简述Ø  操作系统Linux、JDK1.6Ø  Hadoop 0
hadoop 并发编程
伤心的驴的专栏
11-16 2033
转自 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/index.html  分析 WordCount 程序 我们先来看看 Hadoop 自带的示例程序 WordCount，这个程序用于统计一批文本文件中单词出现的频率，完整的代码可在下载的 Hadoop 安装包中得到(在 src/examples 目录中)。
Hadoop 执行多个job
darke1014的专栏
04-29 1372
书上说的不清晰透彻，下面是在StackOverflow上的一个方案，我觉得很好：(1) Cascading jobsCreate the JobConf object "job1" for the first job and set all the parameters with "input" as inputdirectory and "temp" as output directory. E
Hadoop修改正在运行的任务并发数
dengjh_213的博客
05-14 1636
$HADOOP job -set-map-capacity \${job_id} \${capacity}
hadoop job调优
mllhxn的专栏
10-15 972
1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutpu
hadoop集群
10-17
本篇文章将详细介绍如何搭建一个Hadoop集群环境，为初学者提供指导。 首先，我们需要了解Hadoop的核心组件。Hadoop主要由两个核心部分组成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是分布式文件...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
Linux中安装配置hadoop集群详细步骤
09-15
首先，创建一个名为"hadoop"的新用户，并赋予root权限。这可以通过以下命令完成： ```bash sudo adduser hadoop sudo vim /etc/sudoers ``` 在`/etc/sudoers`文件中添加： ``` root ALL=(ALL) ALL hadoop ALL=(ALL) ...
Hadoop提交Job执行MR程序代码.zip
最新发布
10-02
2. **伪分布式模式（Pseudo-Distributed Mode）**：在单台机器上模拟整个Hadoop集群，每个Hadoop守护进程在一个独立的Java进程中运行。 3. **完全分布式模式（Fully-Distributed Mode）**：在多台机器上运行真正的...
hadoop集群eclipse安装配置共30页.pdf.z
10-29
【描述】"共30页.pdf.zip"表明这份资料可能是一个详细的教程或指南，包含了30页的内容，详细讲解了如何在Eclipse中安装和配置Hadoop集群的相关设置。这个过程通常包括以下几个关键步骤： 1. **安装Eclipse**: 首先...
通过Hadoop的API对Job进行管理
dajuezhao的专栏
10-20 2992
一、需求背景 由于我们在做一些业务的时候，可能需要多个Job来组合才能满足一个也许需求，而每个Job之间都有依赖关系，所以产生了需要对Job顺序的控制。总结一下需求，大体如下： 1、Job之间有先后的顺序执行问题。 2、需要对每个Job的状态进行监控（是否完成以及失败情况处理等等） 3、对可以并发执行的Job调整。 4、每个Job处理时的信息的采集以及记录。 5、能够灵活添加或删除要执行的Job队列。 如果以上需求去掉2和4，那么，我们通过脚本就可以做到（如shell）。但是如果要获取Job的
Hadoop大数据从入门到精通
09-28
Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
hadoop群集运行job慢的问题
TURING.DT
04-13 2970
近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成， 反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢， 经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒才5M，正常的话是85~110M左右， 后来dd
hadoop job运行问题解决
flyinf_guo的专栏
02-14 3604
问题现象：     job提交后总是在本地机器运行，不能提交到hadoop job tracker，在 http://192.168.1.130:50030/jobtracker.jsp，不能看到运行中的job。 在控制台输出中出现：     14/02/15 00:04:20 INFO mapred.LocalJobRunner: reduce > sort 原因分析：     第一
Hadoop 文件命令
云计算?
07-13 291
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ hadoop dfs -rmr /user/cl/temp** 上传文件* 上传一个本机/home/c...
杀死killHadoop Mapreduce job程序
程裕强的专栏
05-25 2647
（1）首先查找到僵死的JobID值 （2）hadoop job -kill $Job_ID [root@bigdata01-test sqoop-1.4.7]# hadoop job -kill job_1526097883376_0059 DEPRECATED: Use of this script to execute mapred command is deprecated. Ins...
xxl-job调度中心集群部署重复调度问题
gttoi
05-10 6091
这里写自定义目录标题项目场景：问题描述：原因分析：解决方案： 项目场景： 公司原有一台定时调度服务器，后添加了一台服务器，两台服务器用的同一套数据库 问题描述： 因存在两台调度中心，顾思考是否会产出重复调度的问题，于是查看源码，调度中心源码实现如下，只贴出部分 原因分析： 根据上述代码可见，采用了数据库for update获取行锁，来保证同一时间只有一台服务器可查询需要执行的任务，及调度，但是问题出现了，不同服务器之间，时间几乎做不到完全同步的，若是两台服务器时间不同步，是否会产生重复调度的问
hive 实现job并发执行
lixiaotaoplus的专栏
07-04 7039
hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。
阿里巴巴Hadoop集群运维实践
阿里巴巴的Hadoop集群服务于多个业务阶段，包括生产、开发、测试和预发，共享同一个集群资源。生产环境的业务在0-9点运行，其他非生产环境的业务则限制在9-23点进行，以确保生产环境的稳定性。 7. **集群核心业务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值