Hadoop
iteye_10418
这个作者很懒,什么都没留下…
展开
-
Hadoop Mapreduce任务出错,Child Error
集群出现大面积任务失败,表现为mapreduce刚启动不久,就抛出异常,查看log可以看到, Status : FAILED java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) Caused by: java.io.IOException: Task...原创 2012-08-28 15:28:58 · 177 阅读 · 0 评论 -
Hadoop 启动节点Datanode失败
重新启动之前坏掉的一个节点的Datanode,发现进程没有启动成功。查看相应日志, [code="log"] ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unkn...原创 2012-08-29 20:55:55 · 302 阅读 · 0 评论 -
几个JobTracker优化的配置及解决JobTracker OOM的方法
系统上线两年多了,最近发现任务积压严重,当然与任务越来越多有关系,但也不能放任不管。 然后开始找原因,通过看日志,发现JT占用的内存挺大,虽然我内存给的20g,但也不能吃住不放啊,导致服务器LOAD值也有点偏高,所以断定是出在JT这里。 [b]1.mapred.jobtracker.completeuserjobs.maximum[/b] 默认100 The maximum numbe...2013-12-20 15:25:10 · 366 阅读 · 0 评论