hadoop集群配置1

一、虚拟机集群

1、安装三台虚拟机centos7.5
hadoop102：192.168.10.102
hadoop103：192.168.10.103
hadoop104：192.168.10.104
2、在hadoop102上安装jdk和hadoop
3、把hadoop102上的jdk和daoop复制到103、104上

二、编写集群分发脚本xsync

1、scp安全拷贝命令—— $user@$host:
scp -r $pdir/$fname $user@$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

（1）在102上，将102文件完全拷贝到103上
[chenjixia@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 chenjixia@hadoop103:/opt/module
（2）在103上，将102上的文件完全拷贝到103上
[chenjixia@hadoop103 ~]$ scp -r chenjixia@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
（3）在103上，将将102 中/opt/module 目录下所有目录拷贝到104 上
[chenjixia@hadoop103 opt]$ scp -r chenjixia@hadoop102:/opt/module/* chenjixia@hadoop104:/opt/module

2、rsync同步命令—— $user@$host:
rsync -av $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

三、xsync 集群分发脚本

（1）循环复制文件到所有节点的相同目录下

（a）rsync 命令原始拷贝：
 rsync -av /opt/module chenjixia@hadoop103:/opt/
（b）期望脚本：xsync 要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
[chenjixia@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/chenjixia/.local/bin:/home/chenjixia/bin:/opt/module/jdk1.8.0_212/bin

（2）脚本实现

（a）在/home/chenjixia/bin 目录下创建 xsync 文件
[chenjixia@hadoop102 opt]$ cd /home/chenjixia
[chenjixia@hadoop102 ~]$ mkdir bin
[chenjixia@hadoop102 ~]$ cd bin
[chenjixia@hadoop102 bin]$ vim xsync

——在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

（b）修改脚本 xsync 具有执行权限
[chenjixia@hadoop102 bin]$ chmod +x xsync
（c）测试脚本（同步当前bin目录）
[chenjixia@hadoop102 ~]$ xsync /home/chenjixia/bin
（d）将脚本复制到/bin 中，以便全局调用
[chenjixia@hadoop102 bin]$ sudo cp xsync /bin/
（e）同步环境变量配置（root 所有者）
[chenjixia@hadoop102 ~]$ sudo ./bin/xsync  /etc/profile.d/my_env.sh
****注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。****
（f）让环境变量生效
[chenjixia@hadoop103 bin]$ source /etc/profile
[chenjixia@hadoop104 opt]$ source /etc/profile