Hadoop 部署 2

 

1. 前言:

 

        以前在window下部署hadoop项目,部署过程中出现不少问题,虽然基本上进行了排除解决,但总体上在windows上部署hadoop分布项目不象在linux下那么顺利.最后还是在linux下进行了部署.

 

2. 部署软硬件设备:

 

 软件:

      1.java执行环境jdk1.5+,jre1.5+

      2.hadoop软件,从http://lucene.apache.org/hadoop下载后通过ant对项目进行打包获取安装在各机器上的程序副本.

 硬件:      

 三台机器 :一台实际的linux机器,另安装了两个linux虚拟机,总体为三台机器.

 

 暂命名为:

          10.0.0.1

          10.0.0.2

          10.0.0.3

 

3. 运行布局

在10.0.0.1上运行名称节点（NameNode）以及工作跟踪节点（JobTracker）

 10.0.0.2以及10.0.0.3上运行数据节点(DataNode)以及任务执行节点(TaskTracker)

4 系统设置

4.1支撑环境设置JAVA

对JAVA_HOME,PATH,以及CLASSPATH进行设置

具体步骤如下:

Vi /etc/profile

在文件中添加环境变量

Source /etc/profile 重新加载环境变量

4.2 在系统中设置ssh访问控制通过rsa 方式验证.

    SSH-keygen –t rsa

    对产生的id_rsa.pub复制到authorized_keys中，然后把authorized_keys文件复制到

    其他待访问机器的/user/home/.ssh下这样就建立了对于当前用户无密码访问其他机器的环境.

4.3 在各台及其上启动rsync服务。在启动过程中例如我们输入bin/start-all.sh这样在开始启动过程中待启动的机器会与当前及其进行同步.例如我们在10.0.0.1上启动在

    屏幕上会看到

    10.0.0.2 rsync from 10.0.0.1:/hadood目录

    不配置的话在这里会出现错误.

4.4 slaves 设置

    在部署目录下的conf中填写待启动的机器节点列表

    例如10.0.0.2

         10.0.0.3

通过以上部署直接在终端输入bin/start-all.sh

即可启动hadoop的分布文件系统以及分布计算系统环境。