学习四：jobtracker和tasktracker无法正常启动

    按照前面的学习一和学习三的步骤进行配置，我们发现Namenode的MapReduce

jobtracker和DataNode的tasktracker无法正常启动，具体表现如下：

masternode:
# jps
4210 Jps
4156 NameNode

slavenode
# jps
4028 DataNode
4106 TaskTracker

masternode无法启动jobtracker，查找mared-site.xml配置发现以下问题：
mapred.job.tracker
  masternode:54311
value值配置错误，应该添加hdfs://，修改后如下：
  hdfs://masternode:54311

启动service hadoop-0.20-jobtracker start依然无法启动，查看错误日志：
#vi /var/log/hadoop-0.20/hadoop-hadoop-jobtracker-masternode.log

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

其mapred.system.dir并没有定位到/mapred/system目录上，而是使用“/”目录，在masternode节点上mapred-site.xml添加以下的配置：

 mapred.system.dir
 /mapred/system
 

启动jobtracker正常。

总结：

在随机文档CDH3_Installation_Guide-u3.pdf中，以上的配置没有描述清楚，或者描述在不显眼的地方，造成配置的错误，具体如下：
1、在P64页中，描述mapred.job.tracker中对其配置解释如下：
Specifies the hostname and port of the JobTracker's RPC server, in the form. :.
应该改为hdfs://:.

2、在P73页中，创建mapred文件目录命令：
$ sudo -u hdfs hadoop fs -mkdir /mapred/system
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /mapred/system
给出了/(root directory)用户属主hdfs:hadoop
在注释中，需要注意以下一行字：
Add the path for the mapred.system.dir directory to the conf/mapred-site.xml file.

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/354732/viewspace-721504/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/354732/viewspace-721504/