hadoop 启动的各种问题解决

hadoop 为一个分布式系统基础架构，由Apache基金会开发。本人使用最新的hadoop-1.2.0,和0.20.2 ，两个版本 装在三个虚拟机上，系统为centos ，遇到启动的各种问题，总结如下

一，hadoop 的配置问题

1.namenode 无法启动   

hadoop,tmp 文件夹的问题，有时默认format 之后，清空了tmp文件。需要 在core-site.xml配置

 <property>  
         <name>hadoop.tmp.dir</name>  
         <value>hadoop120_tmp</value>  
         <description>A base for other temporary directories</description>  
 </property>

不加/的话，从hadoop 的目录开始，算一级目录


2.datanode 无法启动，

删除 dfs-site.xml 配置的dfs 系统存放的文件夹，比如：
    <property>
         <name>dfs.data.dir</name>
<value>datadir</value>
    </property>
需要删除掉datanode 节点中的datadir文件夹，重新启动hadoop 就成功了。

3. mkdir , libexec/../logs,  -.pid ，导致主节点，namenode ,secondnamenode , jobtracker无法启动，报permission denied之流。

这个是相关的文件夹没有权限。通常的情况下，master节点，在/tmp文件夹下，会生成-jobtracker.pid,-datanode.pid 等文件和文件夹

所以在master 节点，hadoop的文件夹，和 /tmp 这两个文件夹，chown一下权限，使用root用户，执行命令
chown -R   用户名：组  文件夹名
如
chown -R  tom.luo:root  /tmp

这样就解决了。

第二，linux 相关的问题

  1.ssh 的配置，无密码， 这个不赘述了。网上有，错误在 ssh 配置的无密码。需要 注意，是对应哪个用户的无密码，比如，在tom 这个用户下配了ssh 无密码，然后却通过root来进入hadoop 启动，报错，root 和tom是两码事，是tom用户配置了无密码而不是root，自然root启hadoop会有问题

  2. WARNING: POSSIBLE DNS SPOOFING DETECTED!处理方法  ，

    这个直接将 ~/.ssh 文件夹下的known_hosts 删除便行，连的和被连的，一定有一方出了问题，删了便好

  3. shell 显示   -bash-4.1$，而不显示

       到你自己家目录拷贝.bashrc和.bash_profile 到   / home / 用户名     文件夹下