Hadoop运行环境搭建（三）

一、编写集群分发脚本

xsync集群分发脚本

1）需求：循环复制文件到所有节点的相同目录下

2）需求分析：

（a）rsync命令原始拷贝：

rsync -av /opt/module root@hadoop103:/opt/

（b）期望脚本：

         xsync要同步的文件名称

（c）说明：在/home/fang/bin这个目录下存放的脚本，fang用户可以在系统任何地方直接执行。

3）脚本实现

（a）在/home/fang/bin目录下创建xsync文件

[fang@hadoop102 opt]$ cd /home/fang
[fang@hadoop102 ~]$ mkdir bin
[fang@hadoop102 ~]$ cd bin
[fang@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

（b）修改脚本 xsync 具有执行权限

[fang@hadoop102 bin]$ chmod +x xsync

（c）将脚本复制到/bin中，以便全局调用

[fang@hadoop102 bin]$ sudo cp xsync /bin/

（d）分发脚本

[fang@hadoop102 ~]$ xsync /home/fang/bin
[fang@hadoop102 ~]$ sudo /home/fang/bin/xsync /bin/xsync

二、配置SSH免密登录

（1）生成公钥和私钥：

[fang@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

[fang@hadoop102 .ssh]$ ssh-copy-id hadoop102
[fang@hadoop102 .ssh]$ ssh-copy-id hadoop103
[fang@hadoop102 .ssh]$ ssh-copy-id hadoop104

（3）在hadoop103和hadoop104上用fang用户重复上述操作

（4）在hadoop102上用root用户重复上述操作