Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程~（心血之作啊~~）

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）

PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889

另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能够把解决方法共享给大家。下面评论中有几个朋友遇到的问题和解决方法，欢迎参考！

特别说明：我本人也是hadoop入门不久，并正在学习中，所以当初配置也是参考了很多资料，给出的这个参考配置可以保证大家配置的集群正常work，如果是真正的生产环境，那文档中是有很多纰漏了，如下面的几位大牛评论。谢谢参考，并提意见，互相学习！

第一部分 Hadoop 2.2 下载

          Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法链接）。

下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/

如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz.

 

第二部分 集群环境搭建

1、这里我们搭建一个由三台机器组成的集群：

192.168.0.1     hduser/passwd        cloud001       nn/snn/rm        CentOS6 64bit

192.168.0.2     hduser/passwd        cloud002        dn/nm             Ubuntu13.04 32bit

192.168.0.3     hduser/passwd        cloud003        dn/nm              Ubuntu13.0432bit

1.1 上面各列分别为IP、user/passwd、hostname、在cluster中充当的角色（namenode, secondary namenode, datanode , resourcemanager, nodemanager）

1.2   Hostname可以在/etc/hostname中修改（ubuntu是在这个路径下，redhat稍有不同）

1.3  这里我们为每台机器新建了一个账户hduser.这里需要给每个账户分配sudo的权限。（切换到root账户，修改/etc/sudoers文件，增加：hduser  ALL=(ALL) ALL ）

2、修改/etc/hosts 文件，增加三台机器的ip和hostname的映射关系

                192.168.0.1     cloud001

                192.168.0.2     cloud002

                192.168.0.3     cloud003

3、打通cloud001到cloud002、cloud003的SSH无密码登陆

3.1 安装ssh

         一般系统是默认安装了ssh命令的。如果没有，或者版本比较老，则可以重新安装：

  sodu apt-get install ssh

3.2设置local无密码登陆

安装完成后会在~目录（当前用户主目录，即这里的/home/hduser）下产生一个隐藏文件夹.ssh（ls  -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可（mkdir .ssh）。

具体步骤如下：

1、 进入.ssh文件夹

2、 ssh-keygen -t  rsa 之后一路回 车（产生秘钥）

3、 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）

4、 重启 SSH 服 务命令使其生效 :service sshd restart（这里RedHat下为sshdUbuntu下为ssh）

此时已经可以进行ssh localhost的无密码登陆

     【注意】：以上操作在每台机器上面都要进行。

3.3设置远程无密码登陆

这里只有cloud001是master，如果有多个namenode，或者rm的话则需要打通所有master都其他剩余节点的免密码登陆。（将001的authorized_keys追加到002和003的authorized_keys）

进入001的.ssh目录