hadoop集群搭建

准备工作：

    1、创建hadoop用户，useradd hadoop，passwd hadoop。

    2、给hadoop用户分配执行权限，vi /etc/sudoers

    3、修改hosts，vi /etc/hosts

    4、关闭防火墙，service iptables stop  ---- chkconfig iptables off

                              service firewalld stop ---- chkconfig firewalld off

    5、配置免密登陆，ssh-keygen  -t rsa ，   ssh-copy-id  nodeX

    5、安装jdk，上传hadoop压缩包至 /home/hadoop

搭建过程：

    1、将hadoop压缩包解压缩至制定文件夹下。tar -zxvf hadoop-2.6.5.tar.gz -C /home/hadoop/apps

    2、修改配置文件，cd /home/hadoop/apps/hadoop-2.6.5/etc/hadoop 

        a.     hadoop-env.sh
                修改其中JAVA_HOME路径
                export JAVA_HOME= ·····
       
        
        b.    core-site.xml

        <!-- 指定HADOOP所使用的文件系统，HDFS的老大（NameNode）的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node1:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hdpdata</value>
        </property>
        
        c.    hdfs-site.xml   
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.secondary.http.address</name>
            <value>node1:50090</value>

        </property>

        d.    mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
        e.    yarn-site.xml
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>node1</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>

        </property>

    3、将hadoop添加到环境变量

        vi /etc/proflie
        export JAVA_HOME=······
        export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    4、将hadoop相关文件 scp到子节点中。  scp -r /home/hadoop/apps nodeX://home/hadoop

    5、将启动节点名称加入slaves中，供启动脚本使用。

        vi  /home/hadoop/apps/hadoop-2.6.5/etc/hadoop/slaves

    7、格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)

    8、启动hadoop

         先启动HDFS     sbin/start-dfs.sh
         再启动YARN     sbin/start-yarn.sh

    9、验证是否成功  jps

          http://xx.xx.xx.xx:50070 （HDFS管理界面）
          http://xx.xx.xx.xx:8088 （MR管理界面）