Shell编程脚本进阶

一、Datax全量自动化抽取脚本

1、date 命令 输出日期和时间

（1）输出当前日期 格式 2022-05-09

第一种方法：

[peizk@hadoop shelltest]$ date +%F
2022-05-09

第二种方法：

[peizk@hadoop shelltest]$ date +%Y-%m-%d
2022-05-09

（2）1基础上输出日期加上当前时间

第一种方法：

[peizk@hadoop shelltest]$ date +%F-%T
2022-05-09-17:30:30

第二种方法：

[peizk@hadoop shelltest]$ date +%Y-%m-%d-%H:%M:%S
2022-05-09-17:31:32

（3）总结

年：%Y或者%y
月：%m
日：%d
小时：%H
分：%M
秒：%S
周：%w

%F格式：2022-05-09

%T格式：17:33:09

2、date -d 命令输出相对某一日期一天前，一天后，一月前，一月后等日期

（1）系统日期相对的日期

[peizk@hadoop shelltest]$ date +%F -d '-1 day'
2022-05-08

[peizk@hadoop shelltest]$ date +%F -d '-1 month'
2022-04-09

（2）指定日期的相对日期

[peizk@hadoop shelltest]$ date -d'2022-05-09 - 1 day' +%F
2022-05-08

[peizk@hadoop shelltest]$ date -d'2022-05-09 - 1 year' +%F
2021-05-09

二、查看Hadoop集群jpsall脚本

#! /bin/sh
for i in hadoop102 hadoop103 hadoop104
do
    echo --------- $i ----------
    ssh $i "jps $@ | grep -v Jps"
done

三、Hadoop群起脚本

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

四、一键分发脚本文件

1、scp   安全拷贝

（1）基本语法

scp        -r         $pdir/$fname         $user@$host:$pdir/$fname
命令       递归     要拷贝的文件路径和名称   目的用户@主机:目的路径/名称

2、rsync  远程同步工具

（1）基本解释