Hadoop集群Master节点部署方案

Ø  更改/etc/hosts，添加所有集群机器ip到主机名映射

 

Ø  拷贝hadoop包hadoop.tar.gz到/usr/local

 

Ø  md5sum校验hadoop.tar.gz包：md5sum hadoop.tar.gz

 

Ø  解压hadoop.tar.gz包:tar -xzf hadoop.tar.gz

 

Ø  更改hadoop-1.0.3目录权限：chown -R hadoop:hadoop hadoop-1.0.3

 

Ø  建立hadoop目录软链接：ln -s hadoop-1.0.3 hadoop

 

Ø  建立/home/bin目录，将工具拷贝到目录下

 

Ø  更改/home/bin目录权限为777

 

Ø  用root权限安装tcl和expect工具，具体步骤如下：

1. 在/home/bin下建立soft目录

2. 将expect-5.43.0.tar.gz和tcl8.4.11-src.tar.gz拷贝到soft目录下并解压

3. 更改expect-5.43.0和tcl8.4.11权限为hadoop：chown-R hadoop：hadoop

 

Ø  安装tcl：

 a.执行sed -i "s/relid'/relid/"configure

 b.执行./configure --prefix=/expect

 c.执行make

 d.执行make install

 e.执行mkdir -p /tools/lib

 f.执行cp tclConfig.sh /tools/lib/

 g.将/tools/bin目录export到环境变量

    tclpath=/tools/bin

    export tclpath

Ø  安装expect：

 a.进入/soft/expect-5.43目录

 b.执行./configure --prefix=/tools--with-tcl=/tools/lib --with-x=no

 c.如果最后一行提示：

        configure:error: Can't find Tcl private headers

        需要添加一个头文件目录参数

        --with-tclinclude=../tcl8.4.11/generic,即

       ./configure --prefix=/tools --with-tcl=/tools/lib --with-x=no--with-tclinclude=../tcl8.4.11/generic

       ../tcl8.4.11/generic 就是tcl解压安装后的路径，一定确保该路径存在

  d.执行make

  e.执行make install

  f.编译完成后会生在/tools/bin内生成expect命令

  g.执行/tools/bin/expect出现expect1.1>提示符说明expect安装成功.

Ø  在hadoop根目录生成公钥和私钥文件：

a.ssh-keygen -t rsa

b.cat id_rsa.pub > authorized_keys

c.chmod 644 authorized_keys

 

Ø  更改hadoop集群的conf文件，修改相应的主机名、端口、http地址等

 

Ø  建立master节点到所有datanode的信任关系

 

Ø  修改.bash_profile文件，将/home/bin加入到环境变量中，并将环境变量导出

 

Ø  更改/hadoop-disk或者其他使用磁盘的权限为hadoop:chown -R hadoop:hadoop