hadoop2.7.3集群安装配置

       1、前期装备工作

             a、安装虚拟机，分别配置四台centos6.5的虚拟机（这过程可以百度）。

             b、安装好之后配置ssh免密码登陆（问：为何要配置免密登陆？答：因为hadoop各个节点之间要通信，所以要配置免密码                     登陆）

           执行命令生产公钥和密钥:ssh-keygen -t rsa（敲三次回车）

                   

                 该命令会在用户目录下的.ssh生成公钥和密钥，把公钥复制到其其他机器，执行命令：ssh-copy-id ip（ip是目标机器的IP地              址，下次使用ssh ip其他机器的时候就可 以不用输入密码了）。

                  输入目标机器root用户的密码。

            执行成功。ssh ip就不用输入密码了。

       c、安装rzsz（Linux的文件传输工具）

           执行命令yum install -y lrzsz即可安装rzsz工具。

           

       d、安装JDK

             centos默认安装了openJDK，所以要先卸载openJDK。执行命令：rpm -qa | grep java

             再执行：rpm -e --nodeps + (rpm -qa | grep java显示的行，有几行就执行几次)

         上传jdk8的RPM包（执行rz命令，上传jdk8的rpm包），执行rpm -ivh +JDK8的jdk，jdk即安装完毕。执行命令：java  -version，正常显示就安装成功。

  2、安装hadoop

        上传hadoop的安装包（执行rz命令，上传hadoop的安装包） ，解压hadoop的安装包，使用命令tar -xvf +hadoop的安装包。

           

          配置hadoop的配置文件。进入hadoop的目录，在etc/hadoop目录下，是hadoop的配置文件目录。

          

          使用命令vim core-site.xml文件，加入如下的配置：

               //设置namenode所在的位置

                 <property>
                      <name>fs.defaultFS </name>
                     <value>hdfs://192.168.86.129:9000</value>
                </property>

              //设置hadoop的工作目录

               <property>
                      <name>hadoop.tmp.dir </name>
                      <value>/home/hadoop/hdpdata</value>
              </property>

          

     

           执行命令vim hdfs-site.xml，加入如下配置

            //设置存储文件的副本数目

            <property>
                 <name>dfs.replication </name>
                 <value>3</value>
           </property>

           

         先执行命令:mv mapred-site.xml.template  mapred-site.xml（将mapred-site.xml.template名字改为mapred-                                        site.xml）

         再执行命令 vim mapred-site.xml，加入如下配置：

         //设置yarn分配任务
         <property>
               <name>mapruduce.framewor.name</name>
               <value>yarn</value>
         </property>

          

         执行命令vim yarn-site.xml，加入如下命令：

           //设置yarn的老大
         <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.86.129</value>
         </property>
       //提供服务
          <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>

       配置完毕后，在hadoop目录的bin下面执行：hadoop nanenode -format（初始化namenode的工作目录）

         

          如图所示即表明hadoop安装成功，重复执行以上的步骤，即可安装集群hadoop。