HDFS分布式集群搭建详情

1.配置多个节点的网络映射

使用命令 vi /etc/hosts

例如：

    192.168.79.123 node01
    192.168.79.124 node02
    192.168.79.125 node03
    192.168.79.126 node04

注：每个节点都需要配置/etc/hosts

例如：scp /etc/hosts root@192.168.79.124:/etc   将hosts发送给别的节点

2.在每个节点运行ssh-keygen -t rsa  产生自己的密钥

注：（一路回车，不需要输密码）

3.在主节点产生是个公钥

        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

注：如果免密没能实现，

     使用ls -a查看全部文件  会有.ssh文件，将所有节点的.ssh文件删除再次使用ssh-keygen -t rsa，在次生成.ssh文件

4.进入hadoop解压文件中

       进入配置信息   cd etc/hadoop

      1)进入slaves(vi slaces)

         将localhost改为自己主机名

       2）进入hdfs-site.xml中   

        <property>
            <name>dfs.replication</name>    
            <value>3</value>
        </property>

        <property>     
            <name>dfs.namenode.secondary.http-address</name>   
            <value>其他主机名:50090</value>
        </property>

   3）进入core-site.xml

         <property>
            <name>fs.defaultFS</name>           
            <value>hdfs://主机名:9000</value>    
        </property>
        <property>
            <name>hadoop.tmp.dir</name>         
            <value>/var/abc/hadoop/cluster</value>
        </property>

    4）将*-env.sh的文件内部所有的java路径改绝对路径（/opt/software/jdk1.8.0_121）

5.、将修改完成后的文件发送到其他的节点上   切换到/opt目录

 

      scp -r software root@node02:/opt

      scp -r software root@node03:/opt

       scp -r software root@node04:/opt

6.进入hadoop的bin目录里  输入   ./hdfs namenode -format          ----让所有文件生效

7.进入hadoop的sbin目录里   输入  ./start-dfs.sh   ----启动