分享一个hadoop常用的脚本

        1.集群分发脚本，使用安全传输

       准备前提需要先做好ssh传输协议

        首先在控制台输入echo $PATH

echo $PATH

输出的地址就是，脚本存放的地方，我这里选择/usr/local/bin 

进入到/usr/local/bin   vim xsync 写入如下命令

我这里使用的是主机名为hadoop100到hadoop102的主机

pcount=$#
if((pcount==0)); then
echo no args;
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=100; host<103; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

之后保存退出设置权限

chmod 777 xsync

这样就设置好了使用方法 xsync 需要传输的目录即可

例如  我在hadoop目录下创建一个hadoop11_4的空文件在分发到其他节点的相同路径

Hadoop100

hadoop101

hadoop102

 这样分发脚本就做好了