3.2完全分布式.上

1）准备3台客户机（关闭防火墙、静态IP、主机名称）√
2）安装JDK√
3）配置环境变量 √
4）安装Hadoop 半√
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群

scp安全拷贝

scp可以实现服务器与服务器之间的数据拷贝。
	基本语法
scp    -r        $pdir/$fname             $user@$host:$pdir/$fname
命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
将hadoop102上的JDK复制到hadoop103 的相同目录下

第一次连接需要输入yes

然后输入hadoop103的密码
正在复制中
到hadoop103上查看结果在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录复制到hadoop103上。

在hadoop103上操作，将hadoop102中/opt/module目录下所有目录复制到hadoop104上。

需要输入分别输入hadoop102 和hadoop104的密码

rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。
scp是把所有文件都复制过去。

（1）基本语法
rsync -av $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
选项参数说明
选项 功能
-a 归档拷贝
-v 显示复制过程

• 试试
  先
  删除hadoop103中/opt/module/hadoop-3.1.3/wcinput
  rm -rf wcinput/
  同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

编写分发脚本（会用就行）

xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）需求分析：rsync命令原始拷贝：
rsync -av /opt/module atguigu@hadoop103:/opt/
期望脚本：
xsync要同步的文件名称
期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
（3）脚本实现

	在/home/atguigu/bin目录下创建xsync文件

cd /home/atguigu
mkdir bin
cd bin
vim xsync

	在该文件中编写如下代码

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限

 chmod +x xsync

测试脚本
将脚本复制到/bin中，以便全局调用

xsync /home/atguigu/bin
sudo cp xsync /bin/

同步环境变量配置（root所有者）

sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效

source /etc/profile