大数据常用shell脚本之分发脚本

一、前置准备

CentOS7、jdk1.8、hadoop-2.7.7

想要完成本期视频中所有操作，需要以下准备：

Hadoop完全分布式集群环境搭建-视频教程

二、简单了解

• basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来

• dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分）

• Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素

• rsync是根据自己独特的算法，只同步有变化的文件，甚至在一个文件里只同步有变化的部分，所以可以实现快速的同步数据的功能

  -v, --verbose 详细模式输出
  -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

三、脚本源码

#!/bin/bash

#作者：小康
#描述：集群节点间文件或文件夹分发脚本
#微信公众号：小康新鲜事儿

USAGE="使用方法：sh distribution.sh /home/xiaokangxxs.txt or sh distribution.sh /opt/software/hadoop-2.7.7"
if [ $# -ne 1 ];then
        echo