大数据之Hadoop（完全分布式运行模式）

主要步骤

（1）准备3台客户机（关闭防火墙、静态ip、主机名称）
（2）安装JDK
（3）配置环境变量
（4）安装Hadoop
（5）配置环境变量
（6）配置集群
（7）单点启动
（8）配置ssh
（9）群起并测试集群

4.3.1 虚拟机准备

4.3.2 编写集群分发脚本 xsync

1、scp（secure copy）安全拷贝
（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法：scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
（3）解释：命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
（4）案例实操
（a）在hadoop101上，将hadoop101中的/opt/module目录下的软件拷贝到hadoop102上。
scp -r /opt/module root@hadoop101:/opt/module

同理将hadoop101上的/opt/module也拷贝到103、104。这个时候再hadoop102、103、104的/opt文件夹下就可以看到module了。

（b）修改/opt/module目录的所有者，改为atguigu：sudo chown atguigu:atguigu -R /opt/module

（c）将hadoop101中的/etc/profile文件拷贝到hadoop102、103、104：scp /etc/profile root@hadoop102 /etc/profile

（d）在hadoop102、103、104上source一下/etc/profile文件：source profile