centos6 的 hadoop三台集群的搭建

三台的hadoop分布式集群的搭建：

 

如果你要部署一个高可用的完全分布式集群请参照：我的博客：Hadoop完全分布式集群搭建过程（HA高可用）Hadoop完全分布式集群搭建过程（HA高可用）_hello_heheha的博客-CSDN博客

1，修改
主机名分别为：

master 
slave1 
slave2

2，配置/ etc / hosts（三台都要修改）

192.168.8.88 master 
192.168.8.89 slave1 
192.168.8.90 slave2

3，ssh免密码登录三台：
每台都执行：ssh-keygen -t rsa（一路回车）
进入：.ssh /目录
>cat ./id_rsa.pub >> ./authorized_keys 

这个时候。我们分别查看另外两台的authorized_keys然后把这两台里面的内容复制到第一台的authorized_keys里面。然后用scp -r authorized_keys slave1：.ssh /

安装前步骤：
1，配置jdk

     卸载虚拟机自带的JDK

    

      解压安装包到/应用/ JAVA目录

         ＃> mkdir -p / apps / java

         ＃> tar -zxvf jdk-8u162-linux-x64.tar.gz -C / apps / java /

         ＃> cd / apps / java

         ＃> mv jdk1.8.0_162 jdk

5，配置环境变量（ubuntu的和的centos的配置JDK步骤一样）

         ＃> vim / etc / profile

         在文件末尾添加以下内容

         export JAVA_HOME = / apps / java / jdk

        export PATH = $ PATH：$ JAVA_HOME / bin

       

         保存退出

     刷新环境变量并验证JDK是否安装成功

         ＃> source / etc / profile

         ＃> java -version

     

2，关闭防火墙
    服务iptables停止
    服务iptables状态
    chkconfig iptables off 
    chkconfig iptables list

1，下载安装包
2，解压安装包

tar -zxvf hadoop-2.7.0.tar.gz
3，配置环境变量

     vim / etc / profile

#hadoop 导出HAOOP_HOME = / apps / hadoop  export PATH = $ PATH：$ HADOOP_HOME / bin export PATH = $ PATH：$ HADOOP_HOME / sbin

     来源/etc/profile

4，修改配置文件（五个配置文件）
    1.core-site.xml
        <configuration>
            <property>
                <name> fs.defaultFS </ name>
                <value> hdfs：// zj01 </ value>
            </ property>
        </ configuration>
    2.hdfs-site.xml
        <configuration>
            <property>
                <name> dfs.replication </ name>
                <value> 3 </ value>
            </ property>
        </ configuration>
    
    3.mapred-site.xml
    注意：cp mapred-site.xml.template mapred-site.xml
            <？xml version =“1.0”？>
            <configuration>
                <属性>
                    <name> mapreduce.framework.name </ name>
                    <value> yarn </ value>
                </ property>
            </ configuration>
    4.yarn-site.xml
        <property>
            <name> yarn.resourcemanager.hostname </ name>
            <value> zj01 </ value>
        </ property>
        <property>
                <name> yarn.nodemanager.aux-services </ name>
                <value> mapreduce_shuffle </ value>
        </ property>
    
    5.salves
        master
        salve
        slave2

   6.hadoop-env.sh

      export JAVA_HOME = / apps / java / jdk
5，分发配置
6，格式化文件系统
    hadoop namenode -format
7，启动进程查看配置是否正确

http：// master：8088
http：// master：50070