第十三节 大数据定制篇- Shell 编程

-------------------------------------资源来源于网络,仅供自学使用,如有侵权,联系我必删.

第一:

为什么要学习 Shell 编程
1)Linux 运维工程师在进行服务器集群管理时，需要编写 Shell 程序来进行服务器管理。
2)对于 JavaEE 和 Python 程序员来说，工作的需要，你的老大会要求你编写一些 Shell 脚本进行程序或者是服务器的维护，比如编写一个定时备份数据库的脚本。
3)对于大数据程序员来说，需要编写 Shell 程序来管理集群。

 

Shell 是什么

画一个示意图：

Shell 是一个命令行解释器，它为用户提供了一个向 Linux 内核发送请求以便运行程序的界面系统
级程序，用户可以用 Shell 来启动、挂起、停止甚至是编写一些程序.

 

第二:

shell 编程快速入门-Shell 脚本的执行方式
脚本格式要求
1) 脚本以#!/bin/bash 开头

2) 脚本需要有可执行权限

 

编写 第一个Shell脚本
• 需求说明
创建一个Shell脚本，输出hello world!

脚本的常用执行方式
• 方式1(输入脚本的绝对路径或相对路径)
1)首先要赋予helloworld.sh 脚本的+x权限

2)执行脚本(不推荐)
• 方式2(sh+脚本)
说明：不用赋予脚本+x权限，直接执行即可。

--------------------------------------------------------------------------------------------

Shell的变量 
Shell的变量的介绍
1）Linux Shell中的变量分为，系统变量和用户自定义变量。
2）系统变量：$HOME、$PWD、$SHELL、$USER等等
比如： echo $HOME 等等..

3）显示当前shell中所有变量：set

 

shell 变量的定义
• 基本语法
1)定义变量：变量=值
2)撤销变量：unset 变量
3) 声明静态变量：readonly变量，注意：不能unset
• 快速入门
案例1：定义变量A

案例2：撤销变量A

案例3：声明静态的变量A=99，不能unset

案例4：可把变量提升为全局环境变量，可供其他shell程序使用

 

• 定义变量的规则
1) 变量名称可以由字母、数字和下划线组成，但是不能以数字开头。
2) 等号两侧不能有空格
3) 变量名称一般习惯为大写

• 将命令的返回值赋给变量（重点）
1）A=`ls -la` 反引号，运行里面的命令，并把结果返回给变量A
2）A=$(ls -la) 等价于反引号

--------------------------------------------------------------------------------------------

 设置环境变量
基本语法
1) export 变量名=变量值 （功能描述：将shell变量输出为环境变量）
2) source 配置文件 （功能描述：让修改后的配置信息立即生效）
3) echo $变量名 （功能描述：查询环境变量的值）

 

快速入门
1) 在/etc/profile文件中定义TOMCAT_HOME环境变量

第二行代码有笔误(截图有误)

export TOMCAT_HOME

2) 查看环境变量TOMCAT_HOME的值

3) 在另外一个shell程序中使用 TOMCAT_HOME
注意：在输出JAVA_HOME 环境变量前，需要让其生效
source /etc/profile

 

--------------------------------------------------------------------------------------------

位置参数变量
介绍
当我们执行一个shell脚本时，如果希望获取到命令行的参数信息，就可以使用到位置参数变量
比如 ： ./myshell.sh 100 200 , 这个就是一个执行shell的命令行，可以在myshell 脚本中获取到参数信息
基本语法
$n （功能描述：n为数字，$0代表命令本身，$1-$9代表第一到第九个参数，十以上的参数，十以上的参
数需要用大括号包含，如${10}）
$* （功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）
$@（功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）
$#（功能描述：这个变量代表命令行中所有参数的个数）
位置参数变量
• 应用实例
案例：编写一个shell脚本 positionPara.sh ， 在脚本中获取到命令行的各个参数信息。

--------------------------------------------------------------------------------------------

 预定义变量
基本介绍
就是shell设计者事先已经定义好的变量，可以直接在shell脚本中使用
基本语法
$$ （功能描述：当前进程的进程号（PID））
$! （功能描述：后台运行的最后一个进程的进程号（PID））
$？ （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）
应用实例
在一个shell脚本中简单使用一下预定义变量

--------------------------------------------------------------------------------------------

运算符
基本介绍
学习如何在shell中进行各种运算操作。
基本语法
1) “$((运算式))”或“$[运算式]”
2) expr m + n
注意expr运算符间要有空格
3) expr m - n
4) expr \*, /, % 乘，除，取余

• 应用实例
案例1：计算（2+3）X4的值

1) $((运算式))

2) $[运算式]      推荐

3) expr

案例2：请求出命令行的两个参数[整数]的和

--------------------------------------------------------------------------------------------

条件判断
判断语句
• 基本语法
[ condition ]（注意condition前后要有空格）
#非空返回true，可使用$?验证（0为true，>1为false）
• 应用实例
[ atguigu ]                                                          返回true
[]                                                                         返回false
[condition] && echo OK || echo notok          条件满足，执行后面的语句

 

条件判断
• 常用判断条件
1) 两个整数的比较
=     字符串比较
-lt    小于
-le   小于等于
-eq  等于
-gt   大于
-ge  大于等于
-ne  不等于

2) 按照文件权限进行判断
-r   有读的权限
-w 有写的权限
-x  有执行的权限

3) 按照文件类型进行判断
-f  文件存在并且是一个常规的文件
-e 文件存在
-d 文件存在并是一个目录

 

4)  应用实例
案例1："ok"是否等于"ok"
判断语句：

案例2：23是否大于等于22
判断语句：

案例3：/root/shell/aaa.txt 目录中的文件是否存在
判断语句：

--------------------------------------------------------------------------------------------

流程控制
if  判断
• 基 本语法
if [ 条件判断式 ];then
    程序
fi
或者
if [ 条件判断式 ]
    then
        程序
elif [ 条件判断式 ]
    then
        程序
fi
注意事项：

(1)[ 条件判断式 ]，中括号和条件判断式之间必须有空格

(2) 推荐使用第二种方式
• 应用实例
案例：请编写一个shell程序，如果输入的参数，大于等于60，则输出 "及格了"，如果小于60,则输出 "不及格"

 

case 语句
• 基本语法
case $变量名 in
  "值1"）
      如果变量的值等于值1，则执行程序1
      ;;
  "值2"）
      如果变量的值等于值2，则执行程序2
       ;;
…省略其他分支…
     *）
      如果变量的值都不是以上的值，则执行此程序
       ;;
esac

• 应用实例
案例1 ：当命令行参数是 1 时，输出 "周一", 是2 时，就输出"周二"， 其它情况输出 "other"

 

for 循环
• 基本语法1
for  变量 in  值1  值2  值3…
  do
    程序
  done
• 应用实例
案例1 ：打印命令行输入的参数【会使用到$*   $@】

 

• 基本语法2
for (( 初始值;循环控制条件;变量变化))
  do
    程序
  done
• 应用实例
案例1 ：从1加到100的值输出显示

 

while 循环
• 基 本语法1
while [ 条件判断式 ]
  do
    程序
  done
• 应用实例
案例1 ：从命令行输入一个数n，统计从 1+..+ n 的值是多少？

--------------------------------------------------------------------------------------------

read读取控制台输入 
基本语法
read(选项)(参数)
选项：
-p：指定读取值时的提示符；
-t：指定读取值时等待的时间（秒），如果没有在指定的时间内输入，就不再等待了。。
参数
变量：指定读取值的变量名

应用实例
案例1：读取控制台输入一个num值

案例2：读取控制台输入一个num值，在10秒内输入。

--------------------------------------------------------------------------------------------

函数
函数介绍
shell编程和其它编程语言一样，有系统函数，也可以自定义函数。系统函数中，我们这里就介绍两个。

系统函数
• basename 基本语法
功能：返回完整路径最后/ 的部分，常用于获取文件名
basename [pathname] [suffix]
basename [string] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。
选项：
suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。
• 应用实例
案例1：请返回 /home/aaa/test.txt 的 "test.txt" 部分

• dirname 基本语法
功能：返回完整路径最后/ 的前面的部分，常用于返回路径部分
dirname 文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））
• 应用实例
案例1：请返回 /home/aaa/test.txt 的 /home/aaa

 

自定义函数
• 基本语法
[ function ] funname[()]
{
    Action;
    [return int;]
}
调用直接写函数名：funname [值]
• 应用实例
案例1：计算输入两个参数的和（read方式输入）， getSum

--------------------------------------------------------------------------------------------

Shell编程综合案例 
需求分析

Shell定时维护数据库
1) 每天凌晨 2:10 备份 数据库 atguiguDB 到 /data/backup/db
2) 备份开始和备份结束能够给出相应的提示信息
3) 备份后的文件要求以备份时间为文件名，并打包成 .tar.gz 的形式，比如：
2018-03-12_230201.tar.gz
4) 在备份的同时，检查是否有10天前备份的数据库文件，如果有就将其删除。

思路分析：

代码实现：

#!/bin/bash

#完成数据库的定时备份。
#备份的路径
BACKUP=/data/backup/db
#当前的时间作为文件名
DATETIME=$(date +%Y_%m_%d_%H%M%S)
#可以输出变量调试
#echo ${DATETIME}

echo "=======开始备份========"
echo "=======备份的路径是 $BACKUP/$DATETIME.tar.gz"

#主机
HOST=localhost
#用户名
DB_USER=root
#密码
DB_PWD=root
#备份数据库名
DATABASE=atguiguDB
#创建备份的路径
#如果备份的路径文件夹存在，就使用，否则就创建
[ ! -d "$BACKUP/$DATETIME" ] && mkdir -p "$BACKUP/$DATETIME"
#执行mysql的备份数据库的指令
mysqldump -u${DB_USER} -p${DB_PWD} --host=$HOST  $DATABASE | gzip > $BACKUP/$DATETIME/$DATETIME.sql.gz
#打包备份文件
cd $BACKUP
tar -zcvf $DATETIME.tar.gz $DATETIME
#删除临时目录
rm -rf $BACKUP/$DATETIME

#删除10天前的备份文件
find $BACKUP -mtime +10 -name "*.tar.gz" -exec rm -rf {} \;
echo "=====备份文件成功==========="

注意事项:

1.关于配置mysql:

2.第四步中启用定时器:

3.确认脚本成功