hadoop 1.2.0集群搭建

1. 修改网卡的名称：
2. cd /etc/udev/rules.d/  vim 70-persistent-net.rules
3.   
4. Hadoop1.2.0集群搭建
   1. 目标 : 一台master(实现NameNode Jobtracker)，两台slave(实现DataNode taskTracker)集群
   2. 环境准备
      1. 安装ssh软件。(yum install ssh\* -y )
      2. 实现每个机器的名称管理（主机名 对应IP）。生产环境中采用DNS来完成。测试环境可以采用修改本地hosts文件。
      3. 配置完成执行scp /etc/hosts slave1:/ect/hosts;scp /etc/host slave2:/etc/hosts ；scp /etc/host master:/etc/hosts 。到此每个机器上都有了各台机器的名称(包括自己)。
      4. 实现免密登录
         1. 每个机器上执行ssh-keygen -t rsa，产生自己的公钥和私钥。
         2. 为了实现master管控其他机器。master必须要实时登录其他机器，因此要实现master免密登录其他机器。故在master机器上执行ssh-copy-id slave1、ssh-copy-id slave2 、还有master自己ssh-copy-id master。至此master实现ssh免密登录。
      5. 安装指定java(hadoop 1.x 使用JDK6)
         1. 将解压后的文件拷贝到 /usr/java 目录中。(保证原有的java已经卸载)
         2. 配置环境变量 vim /etc/profile  export JAVA_HOME=/usr/java  export PATH=$JAVA_HOME/bin:$PATH
      6. 复制Hadoop1.2.0解压文件到/bigdata/hadoop-1.2.0/
         1. 修改 /bigdata/hadoop1.2.0/conf/下的指定文件：
            1. hadoop-env.sh
               1. 去除export JAVA_HOME 的注释。将新的java路径写到等号有右边。
               2. 
                  
            2. core-site.xml
               1. 在<configuration></configuration>
               2. 
            3. hdfs.site.xml
            4. 
            5. maperd.site.xml
            6. 
               
            7. 修改master文件中为：master 指定NameNode 和jobtracker在master机器上
            8. 修改slaves文件中为：slave1 slave2
               1. 
         2. 配置hadoop环境变量
            1. vim /etc/profile  在下面加入
            2. 
            3. source /etc/profile使得文件生效。
      7. 分发安装环境环境到集群其他节点
         1. 分发java环境
            1. 在master上执行：scp -r /usr/java root@slave1:/usr/java
               1. 在master上执行：scp /etc/profile slave1:/etc/profile
            2. 针对slave2执行相同操作！！！
         2. 分发hadoop环境到集群其他节点上。
            1. 在master上执行：scp -r /bigdata slave1:/bigdata(分发的时候将整个hadoop文件copy过去，保证master与slave相同，尤其是其中的conf文件夹)。
               1. 在master上执行：ssh slave1 /etc/profile
            2. slave2执行与上相同操作
      8. 格式化Namen，
         1. master 上执行：hadoop namenode -format
         2. start-all.sh启动hadoop。如果没有配置免密登录。需要我们多次输入密码。启动状态
            1. master 
               1. 
            2. slave  
            3.      
               
      9. 特别注意要放开防火墙，关闭SELinux(如何关闭SELinux自行百度)。