第17 章大数据定制篇-Shell 编程
1. 为什么要学习Shell 编程
Shell 是一个命令行解释器,它为用户提供了一个向Linux 内核发送请求以便运行程序的界面系统级程序,用户可以用Shell 来启动、挂起、停止甚至是编写一些程序。
- Linux 运维工程师在进行服务器集群管理时,需要编写Shell 程序来进行服务器管理。
- 对于JavaEE 和Python 程序员来说,工作的需要,你的老大会要求你编写一些Shell 脚本进行程序或者是服务器的维护,比如编写一个定时备份数据库的脚本。
- 对于大数据程序员来说,需要编写Shell 程序来管理集群
2. 第一个Shell 脚本
:::warning
脚本格式要求
- 脚本以#!/bin/bash 开头
- 脚本需要有可执行权限
:::
编写第一个Shell 脚本
需求说明:创建一个Shell 脚本,输出hello world!
vim hello.sh
#!/bin/bash
echo "hello,world~"
脚本的常用执行方式:
- 方式1:输入脚本的绝对路径或相对路径
说明:首先要赋予脚本的+x 权限, 再执行脚本
比如:
./hello.sh
或/root/shcode/hello.sh
- 方式2:sh+脚本
说明:不用赋予脚本+x 权限,直接执行即可。
比如:
sh hello.sh
, 也可以使用绝对路径sh /root/shcode/hello.sh
3. Shell 的变量
3.1 Shell 变量介绍
- Linux Shell 中的变量分为,系统变量和用户自定义变量。
- 系统变量: H O M E 、 HOME、 HOME、PWD、 S H E L L 、 SHELL、 SHELL、USER 等等,比如: echo $HOME 等等…
- 显示当前shell 中所有系统变量:set
Shell变量的作用域:
- 从定义该变量的地方开始到shell结束
- 或是主动使用unset删除该变量的地方为止
3.2 shell 变量的定义
- 基本语法
- 定义变量:
变量名=值
- 撤销变量:
unset 变量
- 声明静态变量:
readonly 变量
,注意:静态变量不能unset
- 快速入门
- 案例1:定义变量A
- 案例2:撤销变量A
- 案例3:声明静态的变量B=2,不能unset
[root@brLinux /opt/br ]# vi var.sh
#!/bin/bash
#1) 案例1:定义变量A
A=100
#输出变量A
echo A=$A
echo "A=$A"
#2) 案例2:撤销变量A
unset A
echo "A=$A"
#3) 案例3:声明静态的变量B=2,不能unset
readonly B=99
echo "B=$B"
unset B
[root@brLinux /opt/br ]# ./var.sh
A=100
A=100
A=
B=99
./var.sh: 第 13 行:unset: B: 无法反设定: 只读 variable
- 案例4:可把变量提升为全局环境变量,可供其他shell 程序使用[该案例后面讲]
- 定义变量的规则
- 变量名称可以由字母、数字和下划线组成,但是不能以数字开头。
- 等号两侧不能有空格
- 变量名称一般习惯为大写,这是一个规范,我们遵守即可
将命令的返回值赋给变量
- A=
date
反引号,运行里面的命令,并把结果返回给变量A - A=$(date) 等价于反引号
3.3 shell 变量的拼接
[root@brLinux /opt/br/tmp ]# vi shell.sh
#!/bin/bash
#1.变量拼接变量
VAR1="var1"
VAR2="var2"
EG1=${VAR1}${VAR2}
echo $EG1
#2.变量拼接字符串
EG2=${VAR1}"date"
echo $EG2
#3.变量拼接命令
EG3=${VAR1}$(date)
echo $EG3
#4.字符串拼接字符串
EG3="str1""str2"
echo $EG3
输出结果
4. 设置环境变量
- 基本语法
export 变量名=变量值
(功能描述:将shell 变量输出为环境变量/全局变量)source 配置文件
(功能描述:让修改后的配置信息立即生效)echo $变量名
(功能描述:查询环境变量的值)
注:在命令行输入
export 变量名=变量值
则仅当前链接生效,若要永久生效则需要将命令写入/etc/profile 文件
- 快速入门
- 在/etc/profile 文件中定义TOMCAT_HOME 环境变量
- 查看环境变量TOMCAT_HOME 的值
- 在另外一个shell 程序中使用TOMCAT_HOME
注意:在输出TOMCAT_HOME 环境变量前,需要让其生效(source /etc/profile)
[root@brLinux /opt/br/tmp ]# cat /etc/profile|grep BR
export BR_HOME=/opt/br/
[root@brLinux /opt/br/tmp ]# source /etc/profile
[root@brLinux /opt/br/tmp ]# cat shell_1.sh
#!/bin/bash
echo $BR_HOME
[root@brLinux /opt/br/tmp ]# sh shell_1.sh
/opt/br/
[root@brLinux /opt/br/tmp ]#
shell 脚本的多行注释
:<<!
内容
!
5. 位置参数变量
5.1 介绍
当我们执行一个shell 脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量
比如 : ./myshell.sh 100 200
, 这个就是一个执行 shell 的命令行,可以在 myshell 脚本中获取到参数信息
5.2 基本语法
$n
(功能描述:n 为数字,$0 代表命令本身,$1-
9
代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如
9 代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如
9代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如{10})
$*
(功能描述:这个变量代表命令行中所有的参数,
∗
把所有的参数看成一个整体)
‘
*把所有的参数看成一个整体) `
∗把所有的参数看成一个整体)‘@(功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)
$#`(功能描述:这个变量代表命令行中所有参数的个数)
5.3 位置参数变量
案例:编写一个shell 脚本position.sh ,在脚本中获取到命令行的各个参数信息。
[root@brLinux /opt/br/tmp ]# cat position.sh
#!/bin/bash
echo "0=$0 1=$1 2=$2"
echo "所有参数=$*"
echo "所有参数=$@"
echo "参数个数=$#"
[root@brLinux /opt/br/tmp ]# sh position.sh 11111 22222
0=position.sh 1=11111 2=22222
所有参数=11111 22222
所有参数=11111 22222
参数个数=2
[root@brLinux /opt/br/tmp ]#
6. 预定义变量
- 基本介绍
就是shell 设计者事先已经定义好的变量,可以直接在shell 脚本中使用
- 常见的预定义变量
$$
(功能描述:当前进程的进程号(PID))
$!
(功能描述:后台运行的最后一个进程的进程号(PID))
$?
(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
- 应用实例
在一个shell 脚本中简单使用一下预定义变量
vi preVar.sh
[root@brLinux /opt/br/tmp ]# cat preVar.sh
#!/bin/bash
echo "当前执行的进程 id=$$"
#以后台的方式运行一个脚本,并获取他的进程号
/opt/br/tmp/shell_1.sh &
echo "最后一个后台方式运行的进程 id=$!" echo "执行的结果是=$?"
[root@brLinux /opt/br/tmp ]# ./preVar.sh
当前执行的进程 id=8341
最后一个后台方式运行的进程 id=8342 echo 执行的结果是=0
[root@brLinux /opt/br/tmp ]#
7. 运算符
学习如何在shell 中进行各种运算操作。
- 基本语法
- 写法1:
$((运算式))
- 写法2:
$[运算式]
- 写法3:
expr m + n
- 写法1:
注:
- expr为expression 表达式 的缩写
- expr 运算符间要有空格, 如果希望将expr 的结果赋给某个变量,需要使用反引号(``)
- 写法3的运算符:
\*
(乘)、/
(除)、%
(取余)
- 应用实例oper.sh
案例1:计算(2+3)X4 的值
案例2:请求出命令行的两个参数[整数]的和20 50
#!/bin/bash
#案例 1:计算(2+3)X4 的值
#使用第一种方式
RES1=$(((2+3)*4))
echo "res1=$RES1"
#使用第二种方式, 推荐使用
RES2=$[(2+3)*4]
echo "res2=$RES2"
#使用第三种方式 expr
TEMP=`expr 2 + 3`
RES4=`expr $TEMP \* 4`
echo "temp=$TEMP"
echo "res4=$RES4"
#案例 2:请求出命令行的两个参数[整数]的和 20 50
SUM=$[$1+$2]
echo "sum=$SUM"
8. 条件判断
- 基本语法:
[ condition ]
- 注意 condition 前后要有空格
- 空返回false,非空返回true,可使用$?验证
- 0 为true,>1 为false
- 应用实例
#返回 true
[ hspEdu ]
#返回false
[ ]
#条件满足,执行后面的语句
[ condition ] && echo OK || echo notok
- 判断语句
常用判断条件
-
=
字符串比较 -
两个整数的比较
-lt | 小于 | -gt | 大于 |
---|---|---|---|
-le | 小于等于little equal | -ge | 大于等于 |
-eq | 等于 | -ne | 不等于 |
- 按照文件权限进行判断
-r | 有读的权限 |
---|---|
-w | 有写的权限 |
-x | 有执行的权限 |
- 按照文件类型进行判断
-f | 文件存在并且是一个常规的文件 |
---|---|
-e | 文件存在 |
-d | 文件存在并是一个目录 |
- 应用实例
案例1:“ok"是否等于"ok”
判断语句:使用=
案例2:23 是否大于等于22
判断语句:使用-ge
案例3:/opt/br/aaa.txt 目录中的文件是否存在判断语句:使用-f
代码如下:
[root@brLinux /opt/br/tmp ]# vi if.sh
#!/bin/bash
#案例1:"ok"是否等于"ok"
#判断语句:使用= 注意空格
if [ "ok" = "ok" ]
then
echo "equal"
fi
#案例2:23 是否大于等于22
#判断语句:使用-ge
if [ 23 -ge 22 ]
then
echo "大于"
fi
#案例3:/opt/br/aaa.txt 目录中的文件是否存在判断语句:使用-f
if [ -f /opt/br/aaa.txt ]
then
echo "存在"
fi
9. 流程控制
9.1 if 判断
基本语法
#单分支
if [ 条件判断式 ]
then
代码
fi
#多分支
if [ 条件判断式 ]
then
代码
elif [ 条件判断式 ]
then
代码
fi
注意事项:[ 条件判断式 ],中括号和条件判断式之间必须有空格
应用实例 ifCase.sh
案例:请编写一个shell 程序,如果输入的参数,大于等于60,则输出"及格了",如果小于60,则输出"不及格"
[root@brLinux /opt/br/tmp ]# vi ifCase.sh
#!/bin/bash
#请编写一个shell 程序,如果输入的参数,大于等于60,则输出"及格了",如果小于60,则输出"不及格"
if [ $1 -ge 60 ]
then
echo "及格了"
elif [ $1 -lt 60 ]
then
echo "不及格"
fi
运行结果:
9.2 case 语句
- 基本语法
case $变量名 in
"值1")
如果变量的值等于值1,则执行程序1
;;
"值2")
如果变量的值等于值2,则执行程序2
;;
*)
如果变量的值都不是以上的值,则执行此程序
;;
esac
- 应用实例 testCase.sh
案例 1 :当命令行参数是 1 时,输出 “周一”, 是 2 时,就输出"周二", 其它情况输出 "other"在
[root@brLinux /opt/br/tmp ]# vi case.sh
#!/bin/bash
#当命令行参数是 1 时,输出 "今天是周一", 是 2 时,就输出"今天是周二", 其它情况输出 "other"
VAR1=$1
case $VAR1 in
"1")
echo "今天是周一"
;;
"2")
echo "今天是周二"
;;
*)
echo "other"
;;
esac
运行结果:
9.3 for 循环
- 基本语法
#语法1
for 变量 in 值1 值2 值3…
do
程序/代码
done
#语法2
for (( 初始值;循环控制条件;变量变化))
do
程序/代码
done
- 应用实例testFor.sh
案例1 :打印命令行输入的参数[这里可以看出
∗
和
* 和
∗和@ 的区别]
案例2 :从1 加到100 的值输出显示
[root@brLinux /opt/br/tmp ]# vi testFor.sh
#!/bin/bash
#案例1 :打印命令行输入的参数[这里可以看出$* 和$@ 的区别]
#注意$*是把输入的参数,当做一个整体,所以,只会输出一句
for i in "$*"
do
echo "num is $i"
done
#使用$@来获取输入的参数,注意,这时是分别对待,所以有几个参数,就输出几个
echo "====================="
for j in "$@"
do
echo "num is $j"
done
#案例2 :从1 加到100 的值输出显示
echo "====================="
SUM=0
NUM1=100
for(( i=1;i<=$NUM1;i++ ))
do
SUM=$[$SUM+$i]
done
echo "sum=$SUM"
运行结果:
9.4 while 循环
- 基本语法1
while [ 条件判断式 ]
do
程序/代码
done
注意:while 和 [ 有空格,条件判断式和 [ 也有空格
- 应用实例testWhile.sh
案例1 :从命令行输入一个数n,统计从1+…+ n 的值是多少?
[root@brLinux /opt/br/tmp ]# vi testWhile.sh
#!/bin/bash
#案例 1 :从命令行输入一个数 n,统计从 1+..+ n 的值是多少?
SUM=0
i=0
while [ $i -le $1 ]
do
SUM=$[$SUM+$i]
#i 自增
i=$[$i+1]
done
echo "执行结果=$SUM"
运行结果:
10. read 读取控制台输入
基本语法:read(选项)(参数)
选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒),如果没有在指定的时间内输入,就不再等待了。。参数
变量:指定读取值的变量名
- 应用实例testRead.sh
案例1:读取控制台输入一个NUM1 值
案例2:读取控制台输入一个NUM2 值,在10 秒内输入。代码:
[root@brLinux /opt/br/tmp ]# vi testRead.sh
#!/bin/bash
#案例 1:读取控制台输入一个 NUM1 值
read -p "请输入一个数 NUM1=" NUM1
echo "你输入的 NUM1=$NUM1"
#案例 2:读取控制台输入一个 NUM2 值,在 10 秒内输入。
read -t 10 -p "请输入一个数 NUM2=" NUM2
echo "你输入的 NUM2=$NUM2"
运行结果:
11. 函数
11.1 函数介绍
shell 编程和其它编程语言一样,有系统函数,也可以自定义函数。系统函数中,我们这里就介绍两个。
11.2 系统函数
- basename
基本语法:
basename [pathname] [suffix]
功能:返回完整路径最后/ 的部分,常用于获取文件名
basename [string] [suffix]
(功能描述:basename 命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
选项:
suffix 为后缀,如果suffix 被指定了,basename 会将pathname 或string 中的suffix 去掉。
应用实例
案例1:请返回/opt/br/tmp/case.sh 的"case.sh" 部分
basename /opt/br/tmp/case.sh
- dirname
基本语法:dirname 文件绝对路径
功能:返回完整路径最后/ 的前面的部分,常用于返回路径部分
应用实例:
案例1:请返回/opt/br/tmp/case.sh 的/opt/br/tmp/
dirname /opt/br/tmp/case.sh
11.3 自定义函数
基本语法
function funname[()]
{
Action;
[return int;]
}
调用直接写函数名:funname [值]
应用实例
案例1:计算输入两个参数的和(动态的获取),getSum
[root@brLinux /opt/br/tmp ]# vi testFun.sh
#!/bin/bash
#案例1:计算输入两个参数的和(动态的获取),getSum
#定义函数getSum
function getSum(){
SUM=$[$n1+$n2]
echo "和是=$SUM"
}
#输入两个值
read -p "请输入一个数n1=" n1
read -p "请输入一个数n2=" n2
#调用自定义函数
getSum $n1 $n2
运行结果:
12 Shell 编程综合案例
12.1 需求分析
- 每天凌晨2:30 备份数据库hspedu 到/data/backup/db
- 备份开始和备份结束能够给出相应的提示信息
- 备份后的文件要求以备份时间为文件名,并打包成.tar.gz 的形式,比如:2021-03-12_230201.tar.gz
- 在备份的同时,检查是否有10 天前备份的数据库文件,如果有就将其删除。
- 画一个思路分析图
12.2 代码/usr/sbin/mysql_db.backup.sh
#备份目录
BACKUP=/data/backup/db
#当前时间
DATETIME=$(date +%Y-%m-%d_%H%M%S)
echo $DATETIME
#数据库的地址
HOST=localhost
#数据库用户名
DB_USER=root
#数据库密码
DB_PW=hspedu100
#备份的数据库名
DATABASE=hspedu
#创建备份目录, 如果不存在,就创建
[ ! -d "${BACKUP}/${DATETIME}" ] && mkdir -p "${BACKUP}/${DATETIME}"
#备份数据库
mysqldump -u${DB_USER} -p${DB_PW} --host=${HOST} -q -R --databases ${DATABASE} | gzip >
${BACKUP}/${DATETIME}/$DATETIME.sql.gz
#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应的备份目录
rm -rf ${BACKUP}/${DATETIME}
#删除 10 天前的备份文件
find ${BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf {} \;
echo "备份数据库${DATABASE} 成功~"