生产环境下hadoop集群配置实验

一、实验环境：

本文的环境搭建是: Mac OS 中利用virtualbox虚拟三台基于centos的服务器。如下图

IP 域名配置表如下：

主机名	别名	IP地址	系统版本	角色
lhmaster	lhmaster.lihui.hadoop	192.168.1.4	Centos 6.3	master
lhslave01	lhslave01.lihui.hadoop	192.168.1.5	Centos 6.3	slave
lhslave02	lhslave02.lihui.hadoop	192.168.1.6	Centos 6.3	slave

二. 部署前准备：

     集群部署涉及的软件包括： jdk ,ssh ,dns, nfs 和 hadoop-1.2.1

    1.配置JAVA, Hadoop环境变量:

第一步：terminal中输入命令 vi /etc/profile

第二步：在编辑状态下加入如下的环境变量

#setJava environment

exportJAVA_HOME=/usr/java/jdk1.7.0_25

exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME

#sethadoop environment

exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1

exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/conf

三.配置DNS服务器

    说明：在生产的hadoop集群环境中，由于服务器可能会有许多台，通过配置DNS映射机器名，相比配置/etc/host方法，可以避免在每个节点都配置各自       的host文件，而且在新增节点时也不需要修改每个节点的/etc/host的主机名-IP映射文件。减少了配置步骤和时间，便于管理。

    详细步骤见：
   【生产环境下hadoop集群配置之DNS配置实验】

四. 配置NFS服务器进行SSH免密码登录

      说明：通过NFS配置ssh免密码连入时，当我们有新的节点接入时，不再需要分别向其它节点各自添加自己公钥信息，只需要把公钥信息追加到共享的         authorized_keys公钥当中，其它节点就直接指向最新的公钥文件。便于分配公钥和管理。

    详细步骤见：
   【生产环境下hadoop集群配置之NFS配置实验】

五. hadoop 相关配置文件 修改

      1：hadoop-env.sh 修改：

           修改JAVA_HOME目录

           

    2：core-site.xml 修改

        在其中增加两个属性，如下图：

        

    3: hdfs-site.xml 修改

       增加属性如下：

      

    4:mapred-site.xml 修改

      增加属性如下：

      

    5:masters 修改

      

    6：slaves 修改

     

六. 向各个结点复制 配置好的hadoop 

      运行 scp.sh 脚本 即可完成向各个结点的复制

     scp.sh 脚本生成步骤：

   【生产环境下hadoop集群配置之awk生成hadoop拷贝脚本】

七. 格式化并运行hadoop

     1:格式化

      

     2：启动hadoop

     

    3: 查看运行进程

         

        

        

       4：进入web ui 查看运行状态

               50030 端口：

                

      50070 端口 查看：