taskTracker和jobTracker 启动失败

转载 2013年12月04日 18:42:30

2011-01-05 12:44:42,144 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.lang.RuntimeException: Not a host:port pair: local
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:136)
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:123)
at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:1807)
at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:905)
at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

需配置mapred.job.tracker属性,在hadoop-0.20.2\conf\ mapred-site.xml的configuration节点中配置(job-tracker host为jobTracker服务器的ip或域名)

<configuration>
<property>
                <name>mapred.job.tracker</name>
                <value>localhost:9101</value>
</property>

</configuration>

 

 

 

 

1、taskTracker和jobTracker 启动失败

2011-01-05 12:44:42,144 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.lang.RuntimeException: Not a host:port pair: local
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:136)
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:123)
at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:1807)
at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:905)
at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

需配置mapred.job.tracker属性,在mapred-site.xml的configuration节点中配置(job-tracker host为jobTracker服务器的ip或域名)

<property>
<name>mapred.job.tracker</name>
<value>[job-tracker host]:9001</value>
</property>

2、namenode启动失败

STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
2011-02-28 15:54:29,719 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:134)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:156)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:160)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:175)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:279)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:956)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965)

需配置fs.default.name属性,在core-site.xml的configuration节点中配置(namenode host为namenode服务器的ip或域名)

<property>
<name>fs.default.name</name>
<value>[namenode host]:9000</value>
</property>

3、hadoop运行需要地方存放一些临时文件,而数据量较大的时候,这些临时文件也会比较大,所以配置临时目录的时候要确定这些目录是否有足够的空间,如果没有指定目录,一般会放在/tmp这个目录下面。

一般需要指定的目录有:hadoop-env.sh里的export HADOOP_PID_DIR=;hdfs-site.xml里的dfs.name.dir和dfs.data.dir;core-site.xml里的hadoop.tmp.dir;mapred-site.xml里的mapred.system.dir、mapred.local.dir、mapred.tmp.dir。

4、分布式运行,查看日志是个非常郁闷的事情,一般的程序标准输出会放在与bin同级的logs目录下的userlogs下面,会有相当多的文件夹。可通过http://job-tracker host:port/jobdetails.jsp查看hadoop运行状况和日志,一般port为50030。

5、有时,当你申请到一个HOD集群后马上尝试上传文件到HDFS时,DFSClient会警告NotReplicatedYetException。通常会有一个如下报错信息。
org.apache.hadoop.ipc.RemoteException: java.io.IOException File /root/testdir/hadoop-default.xml could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.dfs.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1123)
at org.apache.hadoop.dfs.NameNode.addBlock(NameNode.java:330)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
……
不幸的是我也遇到了这个报错,google了很久才找到一个解决方案:当你向一个DataNodes正在和NameNode联络的集群上传文件的时候,这种现象就会发生。在上传新文件到HDFS之前多等待一段时间就可以解决这个问题,因为这使得足够多的DataNode启动并且联络上了NameNode。

6、Error: Java heap space
mapred-site.xml中设置

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512m</value>
</property>

调整这个数字。

7、 Namenode in safe mode
解决方法
bin/hadoop dfsadmin -safemode leave

 

JobTracker和TaskTracker详解

一 概述: (1)Hadoop MapReduce采用Master/Slave结构。 *Master:是整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的J...
  • u012599988
  • u012599988
  • 2015年07月13日 11:24
  • 3157

Hadoop JobTracker和TaskTracker

JobTracker和TaskTracker JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和NameNode 是针对数据存...
  • pianzif
  • pianzif
  • 2014年07月03日 11:36
  • 1275

Hadoop之JobTracker,TaskTracker,Scheduler

DataNode 和NameNode 是针对数据存放来而言的 JobTracker和TaskTracker是对于MapReduce执行而言的 一:JobTracker JobTracker协作作...
  • lan12334321234
  • lan12334321234
  • 2017年04月11日 11:46
  • 130

JobTracker和TaskTracker概述

JobTracker和TaskTracker
  • first_wolf
  • first_wolf
  • 2013年11月29日 12:51
  • 2089

MapReduce两种主要的后台程序-jobtracker和tasktracker

一、Jobtracker           Jobtracker是主线程,它负责接收客户作业提交,调度任务到工作节点上运行,并提供诸如监控工作节点状态及任务进度等管理功能,一个MapReduce...
  • x_pohai2010
  • x_pohai2010
  • 2016年03月02日 23:01
  • 1287

Hadoop学习笔记,MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系

一、基本概念   在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为“任务(task)”。此外,Hadoop提供的分布...
  • a30164
  • a30164
  • 2015年11月04日 21:24
  • 1433

【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法

start-all.sh和jps后出现一下问题 root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.sh starting namenode, loggi...
  • u013488563
  • u013488563
  • 2015年07月20日 14:55
  • 1950

【Mapred】jobtracker & tasktracker架构作业是怎么提交的

Streaming那一套就先不管了,提交作业部分的代码肯定是一样的,只不过客户端提交的方式不一样。 很多人都从wordCount看起,看吧,我擦。 Configuration conf = new C...
  • tracymkgld
  • tracymkgld
  • 2013年12月26日 12:03
  • 1276

hadoop之JobTracker,TaskTracker,hadoop调度器

hadoop之JobTracker,TaskTracker,hadoop调度器 http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/23/3...
  • u011215767
  • u011215767
  • 2015年12月12日 17:57
  • 527

namenode和jobTracker进程没起来的原因

namenode和jobTracker进程没起来的原因有许多种
  • u012889638
  • u012889638
  • 2014年07月30日 21:25
  • 669
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:taskTracker和jobTracker 启动失败
举报原因:
原因补充:

(最多只允许输入30个字)