安装hadoop集群

一.准备三个虚拟机

     1.master机器                  ip：192.168.1.108          hostname：master

     2.slave机器     第一台：ip：192.168.1.106          hostname：slave1

                               第二台：ip：192.168.1.109          hostname：slave2

     修改hostname的方法：vim  /etc/sysconfig/network

二.ssh无密码连接

                     1.ssh-keygen -t rsa -P ''(三台机器都需要操作)

                        

                     2.touch ~/.ssh/authorized_keys(三台机器都需要操作)

                     3.chmod 600 ~/.ssh/authorized_keys(三台机器都需要操作)

                     4.把每个机器上的~/.ssh/id_rsa.pub文件的内容都复制到master机器上的id_rsa.pub文件上(master机器上操作)

                        

                    5.向slave两个机器上copyauthorized_keys文件(master机器上操作)

                       scp ~/.ssh/authorized_keys root@192.168.1.106:~/.ssh/ 

                       scp ~/.ssh/authorized_keys root@192.168.1.109:~/.ssh/

                      

                       如果没有安装ssh和rsync

                       请安装相应软件

                       yum install ssh rsync

                       启动服务

                       service sshd restart

                   6.vim /etc/ssh/sshd_config(三台机器都需要操作)

                     

                  7.service sshd restart(三台机器都需要操作)

                     

                  

                 8.ssh ip 可以不输入密码进入其他帐号就算成功了。

                 

                   

三.安装hadoop集群

     1.解压hadoop(master机器上操作)

        tar xzvf hadoop-0.20.2.tar.gz

     2.设置环境变量(三台机器都需要操作)

        vim /etc/profile

       

        source /etc/profile(立即生效)

    3.mkdir -p /opt/soft/hadoop/tmp(三台机器都需要操作)

    4.vim hadoop-env.sh(master机器上操作)

       

 

    5.vim core-site.xml(master机器上操作)   自己的ip地址  <value>ip地址</value>

       

      
    6.vim hdfs-site.xml(master机器上操作)

       

     7.vim mapred-site.xml(master机器上操作)   自己的ip地址  <value>ip地址</value>

       

    8.vim masters

      

    9.vim slaves

      

    10.把hadoop复制到slave服务器上

          scp -r /opt/soft/hadoop-0.20.2 root@192.168.1.106:/opt/soft/

          scp -r /opt/soft/hadoop-0.20.2 root@192.168.1.10:/opt/soft/

          修改core-site.xml和mapred-site.xml ip地址改成本机的ip地址

          slave服务器上的master和slave文件里的内容修改成localhost

     现在hadoop集群已经安装完成。

四.启动hadoop集群

 

     1.格式化HDFS文件系统

         hadoop namenode -format

        

      2.启动hadoop

         start-all.sh

        

       3.验证hadoop启动是否成功

           jps

         

      4.网页查看hadoop信息

         http://192.168.1.108:50030

         http://192.168.1.108:50070

      hadoop集群全部搞定！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！