Hadoop的安装---在真实的linux集群上安装

 

1.在每台linux节点上安装好jdk，最好把ant一并装了，装的目录最好一致，然后统一配好java所需要的环境变量，例如：

a)        $export  JAVA_HOME=/usr/java/jdk1.6.0_16  

b)        $export  ANT_HOME=/usr/ant/ant-1.7.0

c)        $export  JRE_HOME=/usr/java/jdk1.6.0_16/jre

d)        $export                     CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib:$ANT_HOME/lib

e)        $export  PATH=/usr/java/jdk1.6.0_16/bin:/usr/ant/ant-1.7.0/bin:$PATH

   注：最好将这些写到~/.bash_profile里面去

 

2.配置每个节点上的用户权限，强烈建议使用root用户，因为在运行hadoop的时候，hadoop会生成tmp文件，并且对这些文件修改，用户必须得具有足够的权限，这一点曾让我欲哭无泪，曾通宵一夜调bug，未果，特引以为戒！！

          （a）给用户添加sudo的权限：

              $chmod +w /etc/sudoers

         $vi /etc/sudoer    添加一行： 用户名 ALL=(ALL) ALL

                    $chmod –w /etc/sudoers     注：必须得把写权限去掉，因为系统只是别具有只读权限的sudoers文件

          （b）干脆直接将用户设为root用户组：

          $chmod +w /etc/passwd

                     $vi /etc/passwd      更改对应用户那一行的信息：

                                                                 例如：zhangliuhang:x:0:0::/home/zhangliuhang:/bin/bash

                     $chmod –w /etc/passwd

 

3.配置每个节点上的网络环境，这是比较重要而且比较费事，首先安装ssh,安装好后，配置ssh，使得各个节点间可以互相访问，不需要手动的密码验证。

 

（1）生成RSA密钥,公钥:

      $ssh-keygen –t rsa –f  ~/.ssh/id_rsa

                  注：(一直按回车键就好)此时在~/.ssh目录下会有密钥id_rsa,和公钥id_rsa.pub

 

       （2）将公有密钥id_rsa.pub追加到其他所有节点的~/.ssh/authorized_keys文件中，以使得本节点访问别的节点时候不需要手动输入密码验证。这有两种处理方法：

    （A）在一台机器上的~./ssh/authorized_keys文件中收集好所有节点的公有密钥id_rsa.pub,然后将该文件分发到其他各个节点的相应位置。最后保证authorized_keys文件的读写权限只对所有者有读写权限，否则ssh是不会工作的！    

      (B) 当集群较小的情况下，推荐使用命令ssh-copy-id  -i  ~/.ssh/id_rsa.pub user@machine的方法将本节点的公钥传到别的节点上。

 

        配好后可以试试ssh 看能不能不输入密码直接登录上别的节点

 

4.到官网上下载hadoop，我这里下的是hadoop 0.20.2版本。

（1）首先配置环境变量：

       $ export HADOOP_HOME=/home/zhangliuhang/hadoop

             $ export HADOOP_INSTALL=$HADOOP_HOME

       $ export PATH=.:$HADOOP_HOME/bin:$PATH

                  (注：最好将当前安装hadoop/bin目录放在前面，由于我之前放在后面，导致我运行hadoop的时候看上去是我自己的版本，实际上运行的是别人的版本（注：我运行的节点上有别人安装过的残留的hadoop），会出现诡异的错，很难发现，所以一定得确定后面运行hadoop指令的时候是自己当前版本的！)

  

   （2）在各个节点中选择一台作为master，其他的节点都作为slave。

(注：这时候可以给ip进行映射，这样就不要显示的敲击ip了,

      $chmod +w /etc/hosts

      $vi /etc/hosts

                  修改例子如下：

                100.100.100.101  主机名1或域名1  slave1

                      100.100.100.102  主机名2或域名2  master

                100.100.100.103  主机名3或域名3  slave2

      $chmod –w /etc/hosts)

 

  （3）对于所有节点配置：

      $HADOOP_HOME/conf/目录下：

             （a）Hadoop-env.sh:

          export  JAVA_HOME=/usr/java/jdk1.6.0_16

                 其他的选项可以自己看着办

          （b）Core-site.xml:

                    <configuration>    

            <property>

               <name>hadoop.tmp.dir</name>

              <value>/home/zhangliuhang/tmp</value>

            </property>

      

            <property>

              <name>fs.default.name</name>

              <value>hdfs://master:9910/</value>

           </property>

        </configuration>

         注：最好把tmp目录给设了，这样以后重新安装hadoop的时候知道在哪可以直接把各个节点上hadoop的tmp文件删掉，然后重新安装，否则如果没删掉tmp文件就重新安装容易造成新安装的hadoop运行时报版本错误！本人深刻体会了这一点！！

   （c）hdfs-site.xml:

        <configuration>

           <property>

               <name>dfs.replication</name>

               <value>1</value>

                 </property>

       </configuration>

       其他的属性可以自行设置

 

   （d）mapred-site.xml:

          <configuration>

                <property>

                   <name>mapred.job.tracker</name>

                   <value>master:9007</value>

                    <final>true</final>

                   </property>

              </configuration>

        其他的属性可以自行设置,该处端口号和（b）中的端口号无法使用的时候可以自行换

      

  （e）masters：

            master 

                  注：此处是设置secondnode的并不是namenode

 

          （f）slaves：

                                     slave1

                                     slave2

 

  （4）当配好这一切后就可以在namenode(也就是我们的master)上启动了！~

          $hadoop namenode –format  注：对于hadoop文件系统格式化

          $start-all.sh

          运行后可以查看是否正常，在namenode上输入jps应该可以看到

              Jps

                            Namenode

              JobTracker

              SecondaryNameNode

          在slave节点上敲击jps看到

               Jps

                             Datanode

               TaskTracker

         那么整个安装系统就结束了，可以跑跑hadoop的benchmark

      注：整个过程比较麻烦，最好可以写一些脚本，这样以后再次搭建的时候就会方便很多