hadoop-3.2.0------>入门十 完全分布式环境搭建

一、将虚拟机全部设置为静态ip

详情查看： https://my.oschina.net/u/3535099/blog/3125614

二、将主机的host文件中添加所有子节点

命令：vi /etc/hosts

三、编写集群分发脚本scp

1、scp  安全拷贝

scp定义：scp可以实现服务器之间的的数据拷贝

语法：scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname

scp:命令

-r：递归

$pdir/$fname：要拷贝的文件夹路径/名称

$user@hadoop$host:$pdir/$fname：目的用户@主机/目的文件夹路径/名称

例子：将hadoop上的java文件夹拷入hadoop01（相当于hadoop主动将文件推送到hadoop01上）

获取hadoop上的java文件夹并拷入hadoop02（相当于hadoop02从hadoop中拉取这个文件）

注意：hadoop的主机名称及ip需要在hadoop02的/etc/hosts文件中进行配置（如第二步配置）

图中的./代表拉取到当前目录中

四、编写集群分发脚本rsync

1、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号连接的优点。

2、rsync和scp的区别：用rsync做文件的复制要比scp速度快，rsync只做差异文件更新，scp是将所有文件复制过去

3、语法：rsync  -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname

rsync :命令

-rvl:选项参数

$pdir/$fname：要拷贝的文件夹路径/名称

$user@hadoop$host:$pdir/$fname：目的用户@主机/目的文件夹路径/名称

4、选项参数说明：

-r：递归

-v：显示复制过程

-l：拷贝符号连接