MAC利用VM进行Hadoop集群搭建保姆级教程（4）-----配置集群

前期准备：
1)准备 3 台客户机(关闭防火墙、静态 IP、主机名称) 2)安装 JDK
3)配置环境变量
4)安装 Hadoop
5)配置环境变量

1.编写集群分发脚本 xsync
需求:循环复制文件到所有节点的相同目录下
(1)在/home/username/bin 目录下创建 xsync 文件
cd /home/atguigu
mkdir bin
cd bin
vim xsync
在该文件中编写如下代码:

if [ $pcount -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop2 hadoop3 hadoop4
do
    echo ====================    $host    ====================
    #3. 递归遍历所有目录
    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取全路径
            pdir=$(cd -P $(dirname $file); pwd)
            echo pdir=$pdir

            #6. 获取当前文件的名称
            fname=$(basename $file)
            echo fname=$fname

            #7. 通过ssh执行命令：在$host主机上递归创建文件夹（如果存在该文件夹）
            ssh $host "source /etc/profile;mkdir -p $pdir"

            #8. 远程同步文件至$host主机的$USER用户的$pdir文件夹下
            rsync -av $pdir/$fname $USER@$host:$pdir
        else
            echo $file Does Not Exists!
        fi
    done
done

(2)修改脚本 xsync 具有执行权限
chmod +x xsync
(3)测试脚本
xsync /home/username/bin
(4)将脚本复制到/bin 中，以便全局调用
sudo cp xsync /bin/
(5)同步环境变量配置(root 所有者)
sudo ./bin/xsync /etc/profile.d/my_env.sh
(6)去别的节点source一下让环境变量生效
source /etc/profile

2免密登陆