hadoop再次搭建总结

hadoop

hadoop配置的一些小问题

硬件：四台虚拟机
* 配置自己的hadoop之前已经有一个集群搭建在了四台虚拟机上，但是运行stop-all.sh的时候报错
Could not resolve hostname salver-1: Name or service not known检查hosts文件发现做了映射，然后在master上用命令ssh slaver-1发现需要输入密码才能连接，后来配置了ssh（Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。）使得四个虚拟机之间可以无密码通信。但是忘记了stop开启的hadoop。
* 直接删除了hadoop-2.6.1换了新版本hadoop-2.6.4，然后开始配置，然后直接把master上的配置直接复制到slver上。参考博文：
http://www.itnose.net/detail/6182168.html和http://www.centoscn.com/image-text/install/2014/1121/4158.html
*然后在master上启动./start-all.sh结果发现是可以启动jps正常，但是访问50070端口不能访问404，后来发现8088端口可以访问看到上面的版本号还是2.6.1，原来删除了文件夹还是没有停下hadoop，于是通过jps查看了进程号，杀死了进程，然后再次启动。
* jps发现namenode没有启动，于是使用命令hadoop namenode -format，发现在master上报错了May not run daemons as root. Please specify HADOOP_TASKTRACKER_USER于是新建用户重新配置ssh无密码连接。
* 在hadoop@master下执行hadoop name -format 报错java.io.filenotfoundexception:/usr/lib/hadoop-0.20/logs/,,,,,，原来还有一个hadoop在影响，应该是有一段程序在/usr/bin/hadoop下，于是删除了/usr/bin/hadoop 和/usr/hadoop-0.20，format成功
* 切换到root用户同样format成功，应该是原来有一个hadoop-0.20在root下，然后0.20版本不允许root身份运行。
* 格式化之后namenode起来了，然后发现datanode又挂了，此时50070端口可以打开，8088可以打开发现4个不健康的结点，解决方式重启nodemanager和resourcemanager解决，但是datanode还是没有启动
* 查看50070上的logs里面的hadoop-root-datanode-master.log 发现错误：java.io.IOException: All specified directories are failed to load.原因：Hadoop启动后，在使用格式化namenode，会导致datanode和namenode的clusterID不一致。
* 解决方式：
1、删除了步骤二创建的文件夹里产生的内容，具体是dfs/data里的内容
2、删除了日志文件
3、格式化namenode