前言
- 在一些复杂的Linux维护工作中,大量重复性的输入和交互操作不但费时费力,而且容易出错。
- 而编写一个恰到好处的shell脚本程序,可以批量处理,自动化的完成一系列维护任务,大大减轻管理员的负担。
一:shell脚本编程规范
1.1:开发语言概述
-
开发语言简单举例:shell,Python,Java,JavaScript,HTML,CSS
-
强语言:定义变量时需要声明数据类型:如Java,C语言等
- 整型:int ,如1 ,2 ,3, ,100,等
- 长整型:Long
- 浮点型
- 单精度,float,4字节,如3.14
- 双精度,double,8字节
- String:字符串
- char ,字符 ‘a’ 1字节(Java中 ‘a’ 2字节),'男’2字节
- boolean,布尔值,true or false
- date,日期
- int a=10;
-
弱语言:不需要声明,如shell,JavaScript,Python
- a=10
- a=10.1
-
HTML,标记语言,标签, ,xml文件格斯
-
json,键:值,key:value,a:10
-
shell变量直接定义,不需要声明,没有面向对象思想,所有的语言编写犹如记流水账
1.2:shell脚本应用场景
- shell脚本的概念
- 将要执行的命令按顺序保存到一个文件文本
- 给该文件可执行权限,便可运行
- 可结合各种shell控制语句以完成更复杂的操作
- shell脚本应用场景
- 重复性操作
- 批量事务处理
- 自动化运维
- 服务运行状态监控
- 定时任务执行
- …
1.3:shell编程规范
1.3.1:shell的作用
-
命令解释器,“翻译官”
- 介于系统内核与用户之间,负责解释命令行
-
用户的登录shell
-
登录后默认使用的shell程序,一般为/bin/bash
-
不同shell的内部指令,运行环境等会有所区别
-
[root@localhost ~]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash /usr/sbin/nologin /bin/tcsh /bin/csh
-
1.4:编写第一个shell脚本
1.4.1:编写脚本代码
-
使用vim文本编辑器
-
每行一条Linux命令,按执行顺序依次编写
-
脚本后缀为.sh
-
例如,将一下三条命令按顺序用shell脚本编写
cd /boot pwd ls -lh vm*
-
[root@localhost opt]# vim demo.sh #!/bin/bash 'shell脚本标准格式' cd /boot pwd ls -lh vm* ~ '保存退出' [root@localhost opt]# ls demo.sh rh
1.4.2:执行脚本文件(四种方法)
-
方法一:sh脚本文件路径
[root@localhost opt]# sh demo.sh /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64
-
方法二:source脚本文件路径
[root@localhost opt]# source demo.sh /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64
-
方法三:.空格脚本文件路径
[root@localhost opt]# . demo.sh '会自动切换到目标文件夹,所以文件夹需要切换回/opt' /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64
-
方法四:脚本文件路径(绝对路径与相对路径)
[root@localhost boot]# cd /opt 'source之后会自动切换到目标文件夹,所以文件夹需要切换回/opt' [root@localhost opt]# ./ demo.sh -bash: ./: Is a directory '提示没有权限' [root@localhost opt]# chmod +x demo.sh '增加权限' [root@localhost opt]# ./demo.sh /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64 [root@localhost opt]# '拥有权限之后,我们做个另两种方法的测试' [root@localhost opt]# sh demo.sh /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64 [root@localhost opt]# source demo.sh /boot -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64 [root@localhost boot]#
1.4.3:执行脚本文件(四种方法)的总结
-
source与sh和.空格 执行脚本,涉及到切换路径时,source和.空格会切换路径,但sh不会切换路径
./类似于sh,不切换路径
-
没有权限时,四种方式,.空格 sh和source可以执行,./不可以执行。有权限时,四个都可以执行
1.4.4:更完善的脚本构成
-
脚本声明
-
注释信息
-
可执行语句
-
[root@localhost opt]# vim demo.sh #!/bin/bash #This is my first shell-script '脚本描述信息' cd /boot echo "当前所在路径:" '输出友好提示信息' pwd echo "以vm为开头的文件是:" '输出友好提示信息' ls -lh vm* [root@localhost opt]# ./demo.sh 当前所在路径: /boot 以vm为开头的文件是: -rwxr-xr-x. 1 root root 5.7M Oct 23 14:07 vmlinuz-0-rescue-d078430d0d8f434fb5ad6e47678ea86f -rwxr-xr-x. 1 root root 5.7M Aug 23 2017 vmlinuz-3.10.0-693.el7.x86_64
1.5:管道与重定向
1.5.1:交互式硬件设备
-
标准输入:从该设备接收用户输入的数据
-
标准输出:通过该设备向用户输出数据
-
标准错误:通过该设备报告执行出错信息
-
类型 设备文件 文件描述编号 默认设备 标准输入 /dev/stdin 0 键盘 标准输出 /dev/stdout 1 显示器 标准错误输出 /dev/stderr 2 显示器
-
1.5.2:重定向操作
类型 | 操作符 | 用途 |
---|---|---|
重定向输入 | < | 从指定的文件读取数据,而不是从键盘输入 |
重定向输出 | > | 将输出结果保存到指定的文件(覆盖原有内容) |
重定向输出 | >> | 将输出结果追加到指定的文件 |
标准错误输出 | 2> | 将错误信息保存到指定的文件(覆盖原有内容) |
标准错误输出 | 2>> | 将错误信息追加到指定的文件中 |
混合输出 | &> | 将标准输出,标准错误的内容保存到同一个文件中 |
[root@localhost opt]# chattr +i /etc/passwd /etc/shadow '锁定用户和密码文件'
[root@localhost opt]# lsattr /etc/passwd /etc/shadow '查看锁定情况'
----i----------- /etc/passwd
----i----------- /etc/shadow
[root@localhost opt]# useradd lisi '尝试添加用户'
useradd: cannot open /etc/passwd '提示错误'
[root@localhost opt]# useradd lisi 2> /opt/error.txt '将错误信息输入到新的error.txt'
[root@localhost opt]# ls
demo.sh error.txt rh
[root@localhost opt]# cat /opt/error.txt '查看文本内容'
useradd: cannot open /etc/passwd
[root@localhost opt]# '操作没有错误,则输出的内容没有错误信息'
1.5.3:管道操作符号“|”
-
将左侧的命令输出结果,作为右侧命令的处理对象(前后有关系时使用)
-
[root@localhost opt]# grep "bash$" /etc/passwd root:x:0:0:root:/root:/bin/bash lisi:x:1000:1000:lisi:/home/lisi:/bin/bash [root@localhost opt]# grep "bash$" /etc/passwd | awk -F: '{print $1,$7}' '此间的-F:也可以用空格和Tab代替' root /bin/bash lisi /bin/bash
[root@localhost opt]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 xfs 20G 4.1G 16G 21% / devtmpfs devtmpfs 898M 0 898M 0% /dev tmpfs tmpfs 912M 0 912M 0% /dev/shm tmpfs tmpfs 912M 9.1M 903M 1% /run tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup /dev/sda5 xfs 10G 39M 10G 1% /home /dev/sda1 xfs 6.0G 174M 5.9G 3% /boot tmpfs tmpfs 183M 4.0K 183M 1% /run/user/42 tmpfs tmpfs 183M 36K 183M 1% /run/user/1000 tmpfs tmpfs 183M 0 183M 0% /run/user/0 [root@localhost opt]# df -hT | awk '{print $1,$2,$6}' '查看第1.2.6列的数据' Filesystem Type Use% /dev/sda2 xfs 21% devtmpfs devtmpfs 0% tmpfs tmpfs 0% tmpfs tmpfs 1% tmpfs tmpfs 0% /dev/sda5 xfs 1% /dev/sda1 xfs 3% tmpfs tmpfs 1% tmpfs tmpfs 1% tmpfs tmpfs 0% [root@localhost opt]# df -hT | awk -F " " '{print $1,$2,$6}' '查看第1.2.6列的数据' Filesystem Type Use% /dev/sda2 xfs 21% devtmpfs devtmpfs 0% tmpfs tmpfs 0% tmpfs tmpfs 1% tmpfs tmpfs 0% /dev/sda5 xfs 1% /dev/sda1 xfs 3% tmpfs tmpfs 1% tmpfs tmpfs 1% tmpfs tmpfs 0% [root@localhost opt]# df -hT | grep "sda2" | awk '{print $6}' 21% '查看设备sda2第6列的数据'
-
awk :大部分情况,按列读取
大部分情况下 grep:过滤关键字 sed: 按行读取 awk:按列读取数据 $1,$2:位置变量
二:shell脚本变量详解
2.1:shell变量的作用,类型
-
变量的作用
- 为灵活管理Linux系统提供特定参数,有两层意思
- 变量名:使用固定的名称,由系统预设或用户定义
- 变量值:能够根据用户设置,系统环境的变化而变化
- 为灵活管理Linux系统提供特定参数,有两层意思
-
变量的类型
-
自定义变量:由用户自己定义,修改和使用
-
环境变量:由系统维护,用于设置工作环境
-
位置变量:通过命令行给脚本程序传递参数
-
预定义变量:bash中内置的一类变量,不能直接修改
-
2.2:自定义变量
2.2.1:定义一个新的变量与查看变量的值
-
变量名以字母或下划线开头,区分大小写,建议全大写
变量名=变量值 代表将右边的值赋予左边 查看变量的值:echo $变量名 例如: [root@localhost opt]# addr=22323 [root@localhost opt]# echo $addr 22323 [root@localhost opt]# addr=10 [root@localhost opt]# echo $addr 10 [root@localhost opt]# num=$addr [root@localhost opt]# addr=20 [root@localhost opt]# echo $num 10 [root@localhost opt]# echo $addr 20 [root@localhost opt]# num=$addr [root@localhost opt]# echo $num 20 [root@localhost opt]# product=python [root@localhost opt]# version=3.7 [root@localhost opt]# echo $product $version python 3.7 [root@localhost opt]# echo $product$version python3.5 [root@localhost opt]# echo $product2.8 .8 [root@localhost opt]# echo $product 2.8 2.8 [root@localhost opt]# echo ${product}2.8 2.8 [root@localhost opt]# echo ${product} 2.8 2.8
2.2.2:赋值时使用引号与从键盘输入内容为变量赋值
-
赋值时使用引号
-
双引号:允许通过$符号引用其他变量值
-
单引号:禁止引用其他变量值,$视为普通字符
-
反撇号:命令替换,提取命令执行后的输出结果
-
[root@localhost opt]# echo "$product" python [root@localhost opt]# echo "${product}3.3" '双引号:允许通过$符号引用其他变量值' python3.3 [root@localhost opt]# echo ‘$product’ ‘python’ [root@localhost opt]# echo '$product' '单引号禁止引用其他变量值,$视为普通字符' $product [root@localhost opt]# ps aux | wc -l 151 [root@localhost opt]# num=`ps aux | wc -l` '反撇号中识别命令,对命令结果进行解析' [root@localhost opt]# echo $num 152 [root@localhost opt]# abc=$(ps aux | wc -l) [root@localhost opt]# echo $abc 152
-
-
从键盘输入内容为变量赋值
-
read [-p "提示信息"] 变量名 [root@localhost opt]# vim demo.sh #!/bin/bash #This is my first shell-script read -p "请输入一个整数:" score echo "你的成绩为:$score" ~ [root@localhost opt]# ./demo.sh 请输入一个整数:80 你的成绩为:80
2.2.3:设置变量的作用范围
-
格式一:export 变量名... 格式二:export 变量名=变量值... 两种格式可以混合使用 [root@localhost opt]# num=`ps aux | wc -l` [root@localhost opt]# echo $num 156 [root@localhost opt]# bash '设置变量作用范围' [root@localhost opt]# echo $num '显示不出来' [root@localhost opt]# exit '退出变量范围' exit [root@localhost opt]# echo $num 156 [root@localhost opt]# export num '使用export设置变量' [root@localhost opt]# bash '变量范围' [root@localhost opt]# echo $num '生效' 156 [root@localhost opt]#
2.2.4:整数变量的运算和常用运算符
-
整数变量的运算
expr 变量1 运算符 变量2 [运算符 变量3]...
-
常用运算符
加法运算:+ 减法运算:- 乘法运算:\* 除法运算:/ 求模(取余)运算:%
[root@localhost opt]# exit
exit
[root@localhost opt]# expr 3+2 '错误格式,不加空格'
3+2
[root@localhost opt]# expr 3 + 2 '正确格式,加法运算'
5
[root@localhost opt]# expr 3 - 2 '正确格式,减法运算'
1
[root@localhost opt]# expr 3 * 2 '错误格式,乘法运算'
expr: syntax error
[root@localhost opt]# expr 3 \* 2 '正确格式,乘法运算'
6
[root@localhost opt]# expr 3 / 2 '正确格式,除法运算'
1
[root@localhost opt]# expr 3 % 2 '正确格式,取余运算'
1
[root@localhost opt]# expr 32 % 21
11
[root@localhost opt]# expr 32 % 5
2
[root@localhost opt]# sum=`expr 3+3` '错误格式,求和变量运算'
[root@localhost opt]# echo $sum
3+3
[root@localhost opt]# sum=`expr 3 + 3` '正确格式,求和变量运算'
[root@localhost opt]# echo $sum
6
[root@localhost opt]#
2.3:特殊的shell变量
2.3.1:环境变量和常见的环境变量
-
环境变量
- 由系统提前创建,用来设置用户的工作环境
- 配置文件:/etc/profile,~/.bash_profile
-
常见的环境变量
- PWD,PATH
- USER,SHELL,HOME
2.3.2:位置变量
-
表示为$n,n为1-9之间的数字
-
[root@localhost opt]# vim demo.sh #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "总和为:$sum" [root@localhost opt]# ./demo.sh 20 30 总和为:50 [root@localhost opt]# vim demo.sh #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "总和为:$sum" echo "执行的脚本是$0" [root@localhost opt]# ./demo.sh 22 33 总和为:55 执行的脚本是./demo.sh [root@localhost opt]# !vim #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "总和为:$sum" echo "执行的脚本是:$0" echo "执行的脚本个数是:$#" '$#:命令行中位置变量的个数' ~ [root@localhost opt]# ./demo.sh 13 30 总和为:43 执行的脚本是:./demo.sh 执行的脚本个数是:2 [root#!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "总和为:$sum" echo "执行的脚本是:$0" echo "执行的脚本个数是:$#" echo "详细内容时:$*" @localhost opt]# !vim #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "总和为:$sum" echo "执行的脚本是:$0" echo "执行的脚本个数是:$#" echo "详细内容是:$*" [root@localhost opt]# ./demo.sh 13 30 总和为:43 执行的脚本是:./demo.sh 执行的脚本个数是:2 详细内容是:13 30 [root@localhost opt]# ./demo.sh 13 30 22 22 22 总和为:43 执行的脚本是:./demo.sh 执行的脚本个数是:5 详细内容是:13 30 22 22 22 [root@localhost opt]# !vim #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 + $2` echo "是否执行成功:$?" echo "总和为:$sum" echo "执行的脚本是:$0" echo "执行的脚本个数是:$#" echo "详细内容是:$*" [root@localhost opt]# ./demo.sh 13 30 是否执行成功:0 '0:表示执行成功,非0值:表示执行失败' 总和为:43 执行的脚本是:./demo.sh 执行的脚本个数是:2 详细内容是:13 30 [root@localhost opt]# !vim #!/bin/bash #This is my first shell-script sum=0 sum=`expr $1 / $2` '改变成除法' echo "是否执行成功:$?" '此变量要放在第一行,输出上一行命令执行后返回的状态' echo "总和为:$sum" echo "执行的脚本是:$0" echo "执行的脚本个数是:$#" echo "详细内容是:$*" [root@localhost opt]# ./demo.sh 10 0 expr: division by zero 是否执行成功:2 '显示失败' 总和为: 执行的脚本是:./demo.sh 执行的脚本个数是:2 详细内容是:10 0
2.3.3:预定义变量
-
$#:命令行中位置变量的个数
-
$*:所有位置变量的内容
-
$?:上一条命令执行后返回的状态,当返回状态值为0时表示正常,非0值表示执行异常或出错
-
$0:当前执行的进程/程序名
-
分析脚本
[root@localhost opt]# vim ddd.sh #!/bin/bash TARFILE=beifen-`date +%s`.tgz '设置变量名称,+%s表示从1970至今经过的秒数,所以文件名不会出现重复的情况,就不会有被覆盖的风险' tar zcvf $TARFILE $* &> /dev/null 'tar工具压缩输出到 /dev/null' echo "已执行$0个脚本" '当前执行的进程名' echo "共完成$#个对象的备份" '位置变量的个数' echo "具体内容包括:$*" '所有位置变量的内容' ~ [root@localhost opt]# ./ddd.sh /etc/passwd /etc/shadow 已执行./ddd.sh个脚本 共完成2个对象的备份 具体内容包括:/etc/passwd /etc/shadow '/dev/null:黑洞,数据到这里就消失了,无法找回'
[root@localhost opt]# date Tue Nov 26 00:17:31 CST 2019 [root@localhost opt]# date +%s '从 1970 年 1 月 1 日 00:00:00 UTC 到目前为止的秒数(时间戳)' 1574698476 [root@localhost opt]# date +%F '显示当前日期' 2019-11-26 [root@localhost opt]# date +%Y%m%d '显示年月日' 20191126 [root@localhost opt]# date "+现在的时间是:%Y-%m-%d %H-%M-%S" 现在的时间是:2019-11-26 00-22-10 [root@localhost opt]# date "+三年前的时间是:%Y-%m-%d %H-%M-%S" -d "-3 year" 三年前的时间是:2016-11-26 00-23-31 [root@localhost opt]# date "+三个月后的时间是:%Y-%m-%d %H-%M-%S" -d "+3 month" 三个月后的时间是:2020-02-26 00-24-16 [root@localhost opt]# date "+十天后的时间是:%Y-%m-%d %H-%M-%S" -d "+10 day" 十天后的时间是:2019-12-06 00-24-48 [root@localhost opt]# %Y表示年 %m表示月 %d表示日 %H表示小时 %M表示分钟 %S表示秒 %s表示从 1970 年 1 月 1 日 00:00:00 UTC 到目前为止的秒数,相当于time函数 %w表示一周中的第几天。