Linux之大数据定制篇 - 17.大数据定制篇-Shell编程

连接视频

为什么要学习Shell编程

1、Linux运维工程师在进行服务器集群管理时，需要编写Shell程序来进行服务器管理。

2、对应JavaEE 和 Python 程序员来说，工作的需要，你的老大会要求你编写一些Shell脚本进行程序或者是服务器的维护，比如编写一个定时备份数据库的脚本

3、对于大数据程序员来说，需要编写Shell程序来管理集群。

Shell是什么

Shell是一个命令行解释器，它为用户提供一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。

Shell脚本的执行方式

脚本格式

1、脚本是以 #!/bin/bash开头
2、脚本需要有可执行权限

编写第一个shell脚本

需求说明：创建一个Shell脚本，输出 hello world！

chmod u+x hello.sh【赋予执行权限】

./hello.sh【执行】

脚本的常用执行方式

• 方式1（输入脚本的绝对路径或相对路径）
  说明：首先要赋予 helloworld.sh 脚本的 +x权限，在执行脚本
  执行命令1：./hello.sh
  执行命令2：/root/shcode/hello.sh

• 方式2（sh + 脚本）
  说明：不用赋予脚本 +x权限，直接执行即可。
  比如: sh hello.sh，也可以使用绝对路径
  

Shell的变量

Shell变量介绍

1、Linux Shell中的变量分为，系统变量和用户变量。

2、系统变量：$HOME、$PWD、$SHELL、$USER等等，比如：echo $HOME 等等

3、显示当前shell所有变量：set

shell变量的定义

基本语法
1、定义变量：变量名=值
2、撤销变量：unset 变量
3、声明静态变量：readonly 变量名，注意：不能unset

快速入门

案例1：定义变量A
案例2：撤销变量A
案例3：声明静态变量B=2，不能 unset

vim var.sh

chmod u+x var.sh
sh var.sh

shell变量的定义

• 定义变量的规则
  1、变量名称可以由字母、数字和下划线组成，但是不能以数字开头。
  2、等号两侧不能有空格
  3、变量名称一般习惯为大写，这个一个规范。我们遵守即可

• 将命令的返回值赋给变量
  1、A=`date` 反引号，运行里面的命令，并把结果返回给变量A
  2、A=$(date) 等价与反引号
  

设置环境变量

基本语法

1、export 变量名=变量值（功能描述：将shell变量输出为环境变量/全局变量）
2、source 配置文件 （功能描述：让修改后的配置信息立即生效）
3、echo $变量名 （功能描述：查询环境变量的值）

快速入门

1、在/etc/profile文件中定义 TOMCAT_HOME 环境变量

vim /etc/profile

source /etc/profile【让配置信息立即生效】

2、查看环境变量 TOMCAT_HOME 的值

echo $TOMCAT_HOME

3、在另外一个shell程序中使用 TOMCAT_HOME

vim /root/shcode/var.sh

sh /root/shcode/var.sh

注意： 在输出 TOMCAT_HOME 环境变量前，需要让其生效 source /etc/profile

说明： shell脚本的多行注释：:<<! 内容 !

位置参数变量

介绍

当我们执行一个shell脚本时，如果希望获取到命令行参数信息，就可以使用到位置参数变量。
比如：./myshell.sh 100 200，这个就是一个执行shell的命令行，可以在myshell 脚本中获取到参数信息

基本语法

• $n （功能描述：n为数字，$0代表命令行本身，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如：${10}）
• $* （功能描述：这个变量表示命令行中所有参数，$*把所有的参数看成一个整体）
• $@ （功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）
• $# （功能描述：这个变量代表命令行中所有参数的个数）

位置参数变量

案例：编写一个shell脚本 position.sh，在脚本中获取到命令行的各个参数信息。

vim myshell.sh

chmod u+x myshell.sh
./myshell.sh 100 200

预定义变量

基本介绍

就是shell设计者事先已经定义好的变量，可以直接在shell脚本中使用

基本语法

• $$ （功能描述：当前进程的进程号（PID））
• $! （功能描述：后台运行的最后一个进程的进程号（PID））
• $? （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，有命令自己来决定），则证明上一个命令执行不正确了。）

应用实例

在一个shell脚本中简单使用一下预定义变量，perVar.sh

vim perVar.sh

chmod u+x perVar.sh
./perVar.sh

运算符

基本介绍

学习如何在shell中进行各种运算符操作。

基本语法

1、"$((运算式))" 或 "$[运算式]" 或者 expr m + n //expression 表达式

2、注意expr运算符间要有空格，如果希望将 expr 的结果赋给某个变量，使用``

3、expr m - n

4、expr \*, /, % 乘、除，取余 【注：乘法：\*: \转义符】

应用实例

案例1：计算（2+3）X4的值
案例2：请求出命令行的两个参数[整数]的和 20 50

vim oper.sh

chmod u+x oper.sh
./oper.sh 20 50

条件判断

判断语句

基本语法
[ condition ]（注意condition前后要有空格）
#非空返回true，可使用$?验证（0为true，>1为false）

应用实例

[ zzpEdu ]返回true
[ ] 返回false
[ condtion ] && echo OK || echo notok 条件满足，执行后面的语句

判断语句

常用判断条件

1）= 字符串比较

2）两个整数的比较
-lt 小于
-le 小于等于 【little equal】
-eq 等于
-gt 大于
-ge 大于等于
-ne 不等于

3）按照文件权限进行判断
-r 有读的权限
-w 有写的权限
-x 有执行的权限

4）按照文件类型进行判断
-f 文件存在并且是一个常规的文件
-e 文件存在
-d 文件存在并是一个目录

5）应用实例
案例1：“ok” 是否等于 “ok”
判断语句：使用 =

案例2：23是否大于等于22
判断语句：使用 -ge

案例3：/root/shcode/aaa.txt 目录中文件是否存在
判断语句：使用 -f

vim ifdemo

chmod u+x ifdemo.sh
./ifdemo.sh

流程控制

if判断

基本语法
if [ 条件判断式 ]
then
代码
fi

或者，多分支
if [ 条件判断式 ]
then
代码
elif [ 条件判断式 ]
then
代码
fi
注意事项：[ 条件判断式 ]，中括号和条件判断之间必须有空格

引用实例
案例：请编写一个shell程序，如果输入的参数，大于等于60，则输出 “及格了”，如果小于60，则输出“不及格”

vim ifCase.sh

chmod u+x ifCase.sh
./ifCase.sh 100

case语句

基本语法

case $变量名 in
"值1")
如果变量的值等于1，则执行此程序1
;; //;; 表示结束
"值2")
如果变量的值等于2，则执行此程序2
;;
…省略其他分支…
*)
如果变量名的值都不是以上的值，则执行此程序
;;
esac

应用实例
案例1：当命令行参数是 1 时，输出“周一”，是 2 时，输出“周二”，其他情况输出 “other”

vim testCase.sh

chmod u+x testCase.sh
./testCase.sh 1

for循环

基本语法1

for 变量 in 值1 值2 值3 ...
do
程序/代码
done

应用实例
案例1：打印命令行输入的参数【这里可以看出$* 和 $@的区别】

vim testFor1.sh

chmod u+x testFor1.sh
./testFor1.sh 1 2 3

基本语法1

for (( 初始值; 循环控制条件; 变量变化 ))
do
程序/代码
done

应用实例
案例1：从1加到100的值输出显示

vim testFor2.sh

chmod u+x testFor2.sh
./testFor2.sh 100

while循环

基本语法

while [ 条件判断式 ]
do
程序代码
done

注意： while 和 [ 有空格，条件判断式和 [也有空格

应用实例
案例1：从命令行输入一个数n，统计从 1+…+n 的值是多少

vim testWhile.sh

chmod u+x testWhile.sh
./testWhile.sh 100

read读取控制台输入

基本语法

read(选项)(参数)

选项：
-p：指定读取值时的提示符；
-t：指定读取值时等待时间（秒），如果没有在指定的时间输入，就不再等待了

参数：
变量：指定读取值的变量名

应用实例

案例1：读取控制台输入一个NUM1值
案例2：读取控制台输入一个NUM2值，在10秒内输入

vim testRead.sh

chmod u+x testRead.sh
./testRead.sh

函数

函数介绍

shell编程和其它编程语言一样，有系统函数，也可以自定义函数。系统函数中，我们这里就是介绍两个

系统函数

basename基本语法

功能：返回完整路径最后 / 部分，常用于获取文件名

basename [pathname] [suffix]
basename [string] [suffix] （功能描述：basename命令会删除掉所有的前缀包括最后的一个 / 字符，然后将字符串显示出来）

选项
suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

应用实例
案例1：请返回 /home/aaa/test.txt 的 test.txt 部分

basename /home/aaa/test.txt

basename /home/aaa/test.txt .txt

dirname基本语法

功能：返回完整路径最后 / 的前面的部分，常用于返回路径部分

dirname 文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名【非目录部分】，然后返回剩下的路径【目录部分】）

应用实例
案例1：请返回/home/aaa/test.txt 的/home/aaa

dirname /home/aaa/test.txt

自定义函数

基本语法：

function funname()
{
   Action;
  [return int;]
}

调用直接写函数名：funname [值]

应用实例：
案例1：计算输入两个参数的和(动态获取)，getSum

vim testFun.sh

chmod u+x testFun.sh
./testFun.sh

Shell编程综合案例–定时备份数据库

需求分析

1、每天凌晨 2:30 备份 数据库 zzpedu 到 /date/backup/db
2、备份开始和备份结束能够给出相应的提示信息
3、备份后的文件要求以备份时间为文件名，并打包成 .tar.gz的形式，比如：2021-03-12_230201.tar.gz
4、在备份的同时，检查是否有10天前备份的数据库文件，如果有就将其删除。

思路分析图：

提示：在编写时，最好一边编写 一边使用echo输出测试相应的功能，保证功能是正确的。

cd /usr/sbin/ 【切换目录，使用root的权限】
vim mysql_db_backup.sh 【如下信息】

#!/bin/bash
#备份目录
BACKUP=/data/backup/db
#获取当前时间
DATETIME=$(date +%Y-%m-%d_%H%M%S)
echo $DATETIME
#数据库的地址
HOST=localhost
#数据库的用户名
DB_USER=root
#数据库的密码
DB_PW=zzp123456
#备份的数据库名
DATEBASE=zzpedu

#创建备份目录，如果不存在，就创建
[ ! -d "${BACKUP}/${DATETIME}" ] && mkdir -p "${BACKUP}/${DATETIME}"

#备份数据库
mysqldump -u${DB_USER} -p${DB_PW} --host=${HOST} -q -R --databases ${DATEBASE} | gzip > ${BACKUP}/${DATETIME}/$DATETIME.sql.gz

#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应备份目录
rm -rf ${BACKUP}/${DATETIME}

#删除10天前的备份文件
find ${BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf {} \;

echo "备份数据库=${DATEBASE} 成功~"

chmod u+x mysql_db_backup.sh
crontab -e 【添加定时任务】
-> 30 2 * * * /usr/sbin/mysql_db_backup.sh
执行效果