2013年5月13日,星期一
之前配置了Hadoop集群,有5个节点,一个master和四个slave,然后使用命令bin/start-all.sh开启集群,然后用命令jps查看开启了哪些些服务,看到JobTracker、NameNode、SecondaryNameNode、TaskTracker、DataNode以及Jps,这时以为一切都是顺利的,开始运行MapReduce应用程序。
刚开始开启master和slave1、slave2,在这之间应用程序运行的还不错,没有问题,然后结果也是正确的,就是当增加slave3或者slave3、slave4时,运行的效率不是很高,似乎Hadoop的优势没有体现出来。
后来,查看http://localhost:50070时,发现Cluster Summary下的Live Nodes为1,弄了好半天还是1,就想当时增加节点数后应用程序运行效率没有提高是不是与此有关!然后上网查了一通,下面这个网址http://www.codesky.net/article/201203/172487.html 里有一种解决方法,但是我试过之后还是不行。
后来我查看Live Nodes,发现开启的那个只有master节点,然后我将集群中每个节点的hadoop文件下的conf配置文件夹中的slaves文件中有关master那项注释掉,然后重启