HADOOP集群初始配置准备

完全分布式运行模式（开发重点）
分析：

       1）准备3台客户机（关闭防火墙、静态IP、主机名称）

       2）安装JDK

       3）配置环境变量

       4）安装Hadoop

       5）配置环境变量

6）配置集群

7）单点启动

       8）配置ssh

       9）群起并测试集群

1.编写集群分发脚本xsync,
1）scp（secure copy）安全拷贝

        

（1）scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

       （2）基本语法

scp    -r        $pdir/$fname             $user@$host:$pdir/$fname

命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

（3）案例实操

前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、           /opt/software两个目录，并且已经把这两个目录修改为对应的user和group zjx:zjx
[zjx@hadoop102 ~]$ sudo chown atguigu:atguigu -R /opt/module

（a）在hadoop102上，将hadoop102中/opt/module/jdk8目录拷贝到hadoop103上。

scp -r /opt/module/jdk8/ zjx@hadoop104:/opt/module/
scp -r /opt/module/jdk8/ zjx@hadoop103:/opt/module/

2）rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

       （1）基本语法

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname

命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

         选项参数说明

选项

功能

-a

归档拷贝

-v

显示复制过程

（2）案例实操

       （a）同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103   

     rsync -av /opt/module/hadoop-3.1.3/ zjx@hadoop103:/opt/module/hadoop-3.1.3
 
 
      rsync -av /opt/module/hadoop-3.1.3/ zjx@hadoop103:/opt/module/hadoop-3.1.3
       

(3)实现一个集群之间分发文件的脚本

#!/bin/bash
 
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送
 
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)    ## 防止穿的软连接,这里拿到真的父目录
 
                #6. 获取当前文件的名称
                fname=$(basename $file)    
                ssh $host "mkdir -p $pdir"    ### 在远程server上创建文件夹, -p 参数,如果文件夹已经存在,命令不会报错
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
(6)测试脚本

 查看其它server

2集群配置:

1）集群部署规划