关于hadoop中经常用到的一些脚本

准备： 前提是执行命令的机器必须可是同ssh免密到其他机器上，而且所有的机器必须安装rsync
ssh
1、 ssh-keygen， 生成秘钥
2、 ssh-copy-id 192.168.136.128(ip地址)
需要把公钥考到本机器和要执行命令的其他机器
1、同步文件夹
yum -y install rsync
把这个文件放到/usr/local/bin目录下就可在任何地方执行了

使用直接使用 xsync 文件名/文件夹名
会同步这个文件夹到不同机器的相同目录下

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$# 
if((pcount==0));then 
echo no args;
exit; 
fi

#2 获取文件名称
p1=$1 fname=`basename $p1` 
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd` 
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=1; host<6; host++)); do
#一共5台机器，bigdata01 到bigdata05
#echo $pdir/$fname $user@bigdata0$host:$pdir echo --------------- bigdata0$host ----------------
rsync -rvl $pdir/$fname $user@bigdata0$host:$pdir
done

2、xcall.sh jps
可以直接在一台机器上查看所有的进程
通过xcall.sh jps 可以查看所有机器的所有进程

#!/bin/bash

params=$@
i=1
for (( i=1 ; i <= 5 ; i = $i + 1 )) ; do
		#这里bigdata是自己的hostname名称， 我的是bigdata01-05
		#所以在前面加了个0
    echo ============= bigdata0$i $params =============
    ssh bigdata0$i "$params"
done

一个命令开启所有服务
文件名是hadoop.sh
使用
hadoop.sh start
hadoop.sh stop

#!/bin/bash
#输入的命令 start| stop
params=$@
#要启动的命令的路径，当然除此之外还可以根据需求配其他的
#比如说启动zk服务等
yarn="/home/bigdata/install/hadoop-2.5.0-cdh5.3.6/sbin/${params}-yarn.sh"
dfs="/home/bigdata/install/hadoop-2.5.0-cdh5.3.6/sbin/${params}-dfs.sh"
jb="/home/bigdata/install/hadoop-2.5.0-cdh5.3.6/sbin/mr-jobhistory-daemon.sh ${params} historyserver"
http="/home/bigdata/install/hadoop-2.5.0-cdh5.3.6/sbin/httpfs.sh ${params}"
rm="/home/bigdata/install/hadoop-2.5.0-cdh5.3.6/sbin/yarn-daemon.sh ${params} resourcemanager"
echo ============= bigdata01 $dfs =============
$http
echo ============= bigdata01 $dfs =============
ssh bigdata01 $dfs
echo ============= bigdata01 $yarn =============
ssh bigdata01 $yarn

i=1
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
    echo ============= bigdata0$i $params =============
	ssh bigdata0$i "$rm"
    ssh bigdata0$i "$jb"
done

**

注意：如果出现-bash: /usr/local/bin/xcall.sh: /bin/bash^M: bad interpreter:

**
需要在行末模式下输入set fileformat=unix，然后回车

出现这个错误的原因可能是因为你在windos中编辑了
当set ff 看到如下，就表示可以啦