一、Shell脚本概述
1.1、shell脚本的概念
Shell
是一个命令解释器,它在操作系统的最外层,负责直接与用户进行对话,把用户的输入解释给操作系统,并处理各种各样的操作系统的输出结果,输出到屏幕反馈给用户。这种对话方式可是交互也可以是非交互式的,我们所输入的命令计算机是不识别的,这时就需要一种程序来帮助我们进行翻译,变成计算机能识别的二进制程序,同时又把计算机生成的结果返回给我们。
shell脚本
就是说我们把原来 linux 命令或语句放在一个文件中,然后通过这个程序文件去执行时,我们就说这个程序为 shell 脚本或 shell 程序;我们可以在脚本中输入一系统的命令以及相关的语法语句组合,比如变量,流程控制语句等,把他们有机结合起来就形成了一个功能强大的shell 脚本
- 将要执行的命令按顺序保存到一个文本文件
- 给该文件可执行权限
- 可结合各种shell控制语句以完成更复杂的操作
1.2、shell脚本应用场景
- 重复性操作
- 交互性任务
- 批量事务处理
- 服务运行状态监控
- 定时任务执行
1.3.shell脚本能干什么
自动化完成软件的安装部署,如安装部署LAMP架构服务
自动化完成系统的管理,如批量添加用户
自动化完成备份,如数据库定时备份
自动化的分析处理,如网站访问量
1.4. shell的作用——命令翻译器,“翻译官”
Linux系统中的Shell是一个特殊的应用程序,它介于操作系统内核与用户之间
,充当了一个“命令解释器”的角色,负责接收用户输入的操作指令(命令)并进行解释,将需要执行的操作传递给内核
执行,并输出执行结果。
常见的 Shell 解释器程序有很多种,使用不同的 Shell 时,其内部指令、命令行提示符等方面会存在一些区别。通过/etc/shells 文件可以了解当前系统所支持的 Shell 脚本种类。
[root@localhost ~]# cat /etc/shells
/bin/sh #是bash命令的软链接 (已经被/bin/bash所替换)
/bin/bash 基准于GNU的框架下发展出的Shell。
/usr/bin/sh 已经被bash所替换。
/usr/bin/bash #centos和redhat系统默认使用bash shell
/bin/tcsh #csh的增强版,与csh完全兼容 整合了csh,提供更多的功能。
/bin/csh #已经被/bin/bash 所替换 (整合C shell,提供更多的功能)
注:nologin:奇怪的shell,这个shell可以让用户无法登录主机。
bash ( /bin/bash)是目前大多数Linux版本采用的默认Shell。
1.5.shell脚本构成
第一行为“#!/bin/bash
”,脚本申明(默认解释器):表示此行以下的代码语句是通过/bin/bash程序来执行。还有其他类型的解释器,比如#!/usr/bin/python、#!/usr/bin/expect
注释信息:以“#”开头的语句表示为注释信息
,被注释的语句在脚本运行时不会被执行
可执行语句:如echo命令,用于输出 “ ” 之间的字符串
二.编写shell脚本
2.1 创建 shell 程序的步骤:
第一步:创建一个包含命令和控制结构的文件。
第二步:修改这个文件的权限使它可以执行
# 使用 chmod +x first.sh
第三步:检测语法错误
第四步:执行 ./first.sh
案列:
vim first.sh
#!/bin/bash
#This is my first Shell-Script.
cd /boot
echo “当前的目录位于:”
pwd
echo “其中以vml开头的文件包括:”
ls -lh vml*
2.2shell脚本执行
shell 脚本的执行通常有以下几种方式
方法一:当前路径(决定路径与相对路径)下执行脚本(要有执行权限)
/home/first.sh 或者 ./first.sh
指定路径的命令,要求文件必须有执行(x)权限
方法二:sh 、bash脚本文件路劲(这种方式可以不对脚本文件添加执行权限)
bash first.sh 或 sh first.sh
指定shell来解释脚本,不要求文件必须有写(x)的权限
方法三:source 脚本文件路劲(可以没有执行权限)
source first.sh
方法四:其他方法
sh < first.sh 或者 cat first.sh |sh(bash)
三.重定向与管道操作
3.1重定向——交互式硬件设备
用户通过操作系统处理信息的过程中,包括以下几类交互设备文件:
标准输入(STDIN):默认的设备是键盘,文件编号为 0,命令将从标准输入文件中读取在执行过程中需要的输入数据。
标准输出(STDOUT):默认的设备是显示器,文件编号为 1,命令将执行后的输出结果发送到标准输出文件。
标准错误(STDERR):默认的设备是显示器,文件编号为 2,命令将执行期间的各种错误信息发送到标准错误文件。
交互设备文件:
类型 | 设备文件 | 文件描述编号 | 默认设备 |
---|---|---|---|
标准输入 | /dev/stdin | 0 | 键盘 |
标准输出 | /dev/stdout | 1 | 显示器 |
标准错误输出 | /dev/stderr | 2 | 显示器 |
3.2重定向——重定向操作
类型 | 操作符 | 用途 |
---|---|---|
重定向输入 | < | 从指定的文件读取数据 |
重定向输出 | > | 将标准输出结果 保存 到指定的文件,并且覆盖原有内容 |
>> | 将标准输出结果 追加 到指定的文件的尾部,不覆盖原有内容 | |
标准错误输出 | 2> | 将错误信息 保存 到指定的文件,并且覆盖原有内容 |
2>> | 将错误信息 追加 到指定的文件的尾部,不覆盖原有内容 | |
混合输出 | &> | 将标准输出、标准错误保存到同一文件中【&表示等同于的意思】 |
2>&1 | 将标准错误输出重定向到标准输出 | |
1>&2 | 把标准输出重定向到标准错误 |
3.3经典案例:
1.定向输出:
2.定向输入
3.重定向标准错误:&表示混合的意思
ls /tmp xxxx >1.txt 2>&1//将错误信息2 也输入到正确信息保存的文件里
ls /tmp xxxx 2>2.txt 1>&2//将正确信息1 也输入到错误信息保存的文件里
在编译源码包的自动化脚本中,若要忽略 make、make install 等操作过程信息,则可以将其定向到空文件/dev/null。
#!/bin/bash # 自动编译安装 httpd 服务器的脚本
cd /usr/src/httpd-2.4.25/
./configure --prefix=/usr/local/httpd --enable-so &> /dev/null
make &> /dev/null
make install &> /dev/null #/dev/null等同于make install > /dev/null 2>&1
3.4管道操作
管道(pipe)操作为不同命令之间的协同工作提供了一种机制,位于管道符号“|”左侧的命令输出的结果,将作为右侧命令的输入(处理对象),同一行命令中可以使用多个管道。
在 Shell 脚本应用中,管道操作通常用来过滤所需要的关键信息。
$bash $表示系统提示符,$ 表示此用户为普通用户,超级用户的提示符是#,
bash是shell的一种,是linux下最常用的一种shell
$bash的意思是执行一个子shell,此子shell为bash。
经典案例:
四.shell变量及赋值
4.1shell的变量
变量是用来临时保存数据的,并且该数据时可以变化的,任何一个语言都离不开变量,如果某个内容需要多次使用并且会重复出现,这样就可以使用变量了,如果需要修改直接修改变量就可以了
常见 Shell 变量的类型包括自定义变量、环境变量、只读变量、位置变量、预定义变量。
4.2 自定义变量
变量的定义
Bash中的变量操作相对比较简单,不像其他高级编程语言(如C/C++、Java等)那么复杂。在定义一个新的变量时,一般不需要提前进行声明,而是直接指定变量名称并赋给初始值
(内容)即可
格式:变量名=变量值
等号两边没有空格。变量名称需以字母或下划线开头,名称中不要包含特殊字符(如+、-、*、/、.、?、%、&、#等)
变量名:临时存放数据的地方
变量值:临时的可变化的数据
用echo查看和引用变量的值
通过在变量名称前添加前导符号“$”,可以引用一个变量的值,使用 echo 命令可以查看变量,可以在一条 echo 命令中同时查看多个变量值。
4.3经典案例
列1
Product=Python
Version=2.7.13
echo $Product$Version
当变量名称容易和紧跟其后的其他字符相混淆
时,需要添加大括号“{}”
将其括起来,否则将无法确定正确的变量名称。对于未定义的变量,将显示为空值
举例说明
列2
{}引用变量
echo ${Product}2.5
echo ${test}RMB
echo选项
echo -n 表示不换行输出
使用echo -e输出转义字符,将转义后的内容输出到屏幕上
常用的转义字符如下:
\c 不换行输出,在”\c”后面不存在字符的情况下,作用相当于echo -n
\n 换行
\t 转义后表示插入tab,即制表符【相当于每个字符与字符之前会有空四个字符】
注:\转义符,跟在\之后的特殊符号将失去特殊含义,变为普通字符。如$将输出“$”符号,而不当做是变 量引用
取消定义
unset 变量名 【unset :清除变量值】
定义变量
变量名=变量值
如:num=10
引用变量
$变量名
特殊操作
还有一些特殊的赋值操作,可以更灵活地为变量赋值,以便适用于各种复杂的管理任务
一.双引号(”)
双引号主要起界定字符串的作用,特别是当要赋值的内容中包含空格时,必须以双引号括起来;其他情况下双引号通常可以省略
1、当内容中有空格
echo “hello world”
echo nihao
2、当以变量的值进行赋值
[root@localhost ~]# version=2
[root@localhost ~]# pyver="python $version"
[root@localhost ~]# echo $pyver
python 2
二. 单引号(‘)
当要赋值的内容中包含$、“、\等具有特殊含义的字符
时,应使用单引号
括起来。
在单引号的范围内,将无法引用其他变量的值,任何字符均作为普通字符看待
。输入什么就显示什么
但赋值内容中包含单引号(‘)时,需使用\’符号进行转义,以免冲突
。
[root@localhost ~]# test=123
[root@localhost ~]# echo "$test"
123
[root@localhost ~]# echo '$test'
$test
三. 反撇号(`)
反撇号主要用于命令替换
,允许将执行某个命令的屏幕输出结果赋值给变量
。
反撇号括起来的范围内必须是能够执行的命令行,否则将会出错
ls -lh `which useradd`
先通过 which useradd 命令查找出 useradd 命令的程序位置,然后根据查找结果列出文件属性
date +%Y-%m-%d
[root@localhost ~]# time=`date +%T`
[root@localhost ~]# echo $time
04:23:22
使用反撇号难以在一行命令中实现嵌套命令替换操作,这时可以改用 “$()”来代替反撇号操作,以解决嵌套的问题
rpm -qc $(rpm -qf $(which useradd))
五. shell 脚本变量
各种Shell环境中都是用到了“变量”的概念。Shell变量用来存放系统和用户需要使用的特定参数值。
变量的作用
用来存放系统和用户需要使用的特定参数(值)
变量名: 使用固定的名称,由系统预设或用户定义
变量值: 能够根据用户设置、系统环境的变化而变化
变量的类型
自定义变量: 由用户自定义、修改和使用
特殊变量: 环境变量,只读变量,位置变量,预定义变量
环境变量:由系统维护,用于设置工作环境
只读变量: 用于变量值不允许被修改的情况
位置变量:通过命令行给脚本程序传递参数
预定义变量:bash中内置的一类变量,不能直接修改
5.1交互式定义变量(read)
-p | 提示用户的信息 |
---|---|
-n | 定义字符数 |
-s | 不显示用户输入的内容,常用于输入密码 read -s -p “input your password:” pass |
-t | 定义超时时间,超过多长时间没输自动退出 |
从文件读取内容赋值给变量
[root@server myscripts]# echo 192.168.100.100 > ip.txt
[root@server myscripts]# cat ip.txt
192.168.100.100
[root@server myscripts]# read -p "input your ip:" IP < ip.txt
[root@server myscripts]# echo $IP
192.168.100.100
stty -echo //关闭屏幕回显
stty echo //开启屏幕回显
–变量的作用范围—
默认情况下,新定义的变量只在当前的 Shell 环境中有效,因此称为局部变量,当进入子程序或新的子 Shell 环境时,局部变量将无法再使用。
[root@localhost ~]# bash #进入子shell环境
[root@localhost ~]#
[root@localhost ~]# echo $name
[root@localhost ~]# echo $test
5.2自定义变量(export)
为了使用户定义的变量在所有的子 Shell 环境中能够继续使用,减少重复设置工作,可以通过内部命令 export 将指定的变量导出为全局变量
。
用户可以同时指定多个变量名称作为参数
(无须使用“$”符号),变量名之间以空格分隔
。
[root@localhost ~]#Product=Benet
[root@localhost ~]#Version=6.0
[root@localhost ~]# echo "$Product $Version"
Benet 6.0
[root@localhost ~]# export Product Version #导出为全局变量
[root@localhost ~]# bash
[root@localhost ~]# echo "$Product $Version" #子程序引用全局变量
Benet 6.0
[root@localhost ~]# exit
使用 export 导出全局变量的同时,也可以为变量进行赋值,这样在新定义全局变量时就不需要提前进行赋值了
env查看用户当前环境变量
export ABC=123
再次env就能看到了
export -n ABC 取消定义的全局变量变成局部变量
5.3 数值变量的运算
常用运算符:+ 加法、- 减法、 乘法、/除法、% 取余*
expr 变量1 运算符 变量2
var=$(expr 变量1 运算符 变量2)
var=$((变量1 运算符 变量2))
var=$[变量1 运算符 变量2]
let var=变量1 运算符 变量2
i++相当于i=$[$i + 1],i++是先赋值,再运算【先用后加】
i--相当于i=$[$i - 1],++i是先运算再赋值【先用后减】
i+=1相当于i=$[$i + 1]【i=i+1】
----扩充-----
[root@zhang shell]# expr $[2 * 2] ##在中括号中可以直接用正常运算符
六.特殊的shell变量
6.1 环境变量
环境变量指的是出于运行需要而由Linux系统提前创建的一类变量,主要用于设置用户的工作环境,包括用户宿主目录、命令查找路径、用户当前目录、登录终端等。环境变量由Linux系统自动维护,会随着用户状态的改变而改变:
如果修改之后,(uname) ,重启就可以恢复原样;
或者把之前的复制过来直接赋值变量
- 由系统提前创建,用来设置用户的工作环境
- 配置文件:/etc/profile 、~/.bash_profile
- 常见的环境变量:PWD,PATH.USER.SHELL.HOME
通过env命令进行查看,都是设定好的:
[root@zhang ~]# env
XDG_SESSION_ID=3
HOSTNAME=zhang
version=woaini
SELINUX_ROLE_REQUESTED=
TERM=xterm
SHELL=/bin/bash
HISTSIZE=1000
SSH_CLIENT=192.168.10.16 50885 22
SELINUX_USE_CURRENT_RANGE=
OLDPWD=/etc/yum.repos.d
SSH_TTY=/dev/pts/0
name=wxd
USER=root
6.2 只读变量
- 用于变量值不允许被修改的情况
[root@zhang ~]# name=zhangzhihan
[root@zhang ~]# name=yaoran
[root@zhang ~]# readonly name
[root@zhang ~]# echo $naem
[root@zhang ~]# echo $name
yaoran
[root@zhang ~]# name=yaoran
-bash: name: 只读变量
[root@zhang ~]# unset name
-bash: unset: name: 无法反设定: 只读 variable
6.3 位置变量
为了使用Shell脚本程序时,方便通过命令行为程序提供参数,bash引入了位置变量的概念。
- 表示为$n,n为1-9之间的数字
修正一下,刚刚打错了嘿嘿!
6.4 预定义变量
与定义变量是bash预先定义好的一类特殊变量,只能使用不能创建新的:
$# :表示命令行中位置参数的个数
$*: 表示所有未知参数的内容
$?: 表示前一条命令执行后的返回状态,为0表示执行正确,非0表示执行出现异常;
$0: 表示当前执行的脚本或程序的名字
$$: 表示当前脚本的进程号
案列:
2.
6.5 使用awk值提取IP值
[root@zhang shell]# ip=`ifconfig ens33|awk /netmask/'{print $2}'`
[root@zhang shell]# echo $ip
192.168.10.10
6.6 全局变量与局域变量
- 全局变量
全局变量用 export
[root@zhang ~]# export Y=30
[root@zhang ~]# echo $Y
30
- 局部变量
[root@zhang ~]# a=10
[root@zhang ~]# echo $a
10
[root@zhang ~]# bash
[root@zhang ~]# echo $a
[root@zhang ~]#
七.shell脚本的符号说明
1. #!:脚步中的第一句,指明执行脚本使用的程序
示例:#!/bin/bash
2. #:注释,用于帮助信息或者忽略暂时不执行的语句
示例:# echo “hello”
#this is a comment
3. $ 变量替换符号
示例:a=123;echo $a
4. ${} 变量正规表达式,避免变量名提前截断
示例:${13}
5. $num 位置参数
示例:$0,$1,…,${10}
6. $? 最后一个命令的推出状态,一般0表示正确,其他表示错误
示例: if [ $?-ne 0 ]; then
echo “encounter error”
7. $! 最后一个命令执行的后台命令的ID
示例:pid=$!
8. $$ 运行脚本进程的ID
示例:pid=$$
9. $* 传递到脚步的参数,加双引号时相当于”$1$2 …”
示例:echo “Theparameters are $*”
10. $@ 与$*相同,加双引号相当于”$1”“$2” …
示例:a=$@
11. $# 传递到脚本中的参数个数,不包含$0参数
示例: echo “theparameter number is $#”
12. $- 保存当前shell的设置信息,如果结果中有i,则表示为交互式shell
示例: echo $-
13. ; 将多个指令写在同一行上的分隔符
示例:a=123;echo $a
14. ;; 专用语case选项,作用类似于C语言switch语句中的break
示例: case${tao} in
a) echo “a” ;;
b) echo “b” ;;
esac
15. . 一个表示当前目录,两个表示上一级目录
示例:cd ..
16. , 类似于C语言中的逗号表达式
示例:let “t1=((a=5+3,b=7-1,c=15/3))”;echo $t1
17.! 表示逻辑运算法“非”
示例:if [ “$?”!= “0” ]; then
echo “Execute error”
exit 1
18. : 在bash中,这是一个内建命令,“什么都不干“,但是返回状态值为0
示例: :; echo$?; :> f.out 相当于cat/dev/null > f.out
19. ? 通配符,匹配任意一个字符,但是不包括null
示例:ls f?n
20. ‘’ 将其内容当作字符串,$和通配符均不扩展或者转义
示例:a=1; echo ‘$a’ 结果为$a
21. “” 将其内容作为字符串,但是$可以扩展,通配符不可以
示例:b=”string”;echo “$b” 结果为string
22. `` 反引号(在键盘数字1左边),其中的字符串会当成命令执行
示例:a=`date`;echo “$a”
23. () 指令群组,将一串指令括起来,执行时shell会产生subshell来执行它们
示例:(a=1;echo$a)
24. (()) bash的内建功能,用于算数运算
示例:a=10;echo$a;((a++)); echo $a
25. [] 同test作用相同,用于表达式真假的判断
示例: if [ 1-eq 2];then
echo‘kill me’
26. [[]] bash对[]的加强版,当中允许使用||和&&,并且可以使用正则表达式
示例:read ver
if [[ $ver > 5 && $ $ver < 9]]; then
echo“that’s it”
fi
27. {} 指令群组,类似于(),但在当前shell中执行,还可以用于字符串的组合
示例: mkdir{userA, userB, userC} - {home, bin, data}
28. \<….\> 正则表达式,匹配单词的词首和词尾
示例: find ‘\<the\>’file
29. + 加法,正则表达式中表示字符重复1~n次
示例: grep ‘10\+9’file
30. - 减法,标准输入,cd命令中表示上一次的工作目录
示例: expr 1 -2 + 3; tar -zxfv -; cd –
31. * 乘法,通配符,表示任何字符;一个字符重复0~n次
示例:let “var=2*3”; ls zha*t; grep ‘a1[0-9]*’
32. ** 次方运算
示例:let “var=2**8”
33. / 除法;目录分隔符
示例:expr 10/2;cd /home/zc
34. % 取余
示例:expr 10 %2
35. = 赋值;字符串比较,在[]和[[]]中不同(参见==)
示例: a=”we”;if [ $a == ‘wee’ ]; then exit0 fi
36. == 字符串比较,同单个等号
示例: a=’we’
if[[ $a == w* ]]; then
echo“ok”
fi
37. != 字符串比较,不等于
示例: if [ “$a”!= “$b” ]; then …
38. < 字符串比较,小于;输入重定向
示例: cat>test < suck.txt
39. << 从标准输入中读取,直到分隔符
示例: 110<< eof
40. > 输出重定向,文件存在覆盖,不存在则新建
示例: ls>out 2>&1
41. >> 输出重定向,文件存在追加,不存在则创建
示例: ls>>out
42. & 后台执行工作符
示例: tar zcvfdata.tar.gz data >/dev/null &
43. && 逻辑与,短路操作符
示例: cp 1.txt2.txt && rm 1.txt && echo ‘success’
44. | 管道操作符
示例: cat file| grep ‘fan’
45. || 逻辑或,短路操作符
示例: rm 1.txt|| echo ‘fail’
46. ~ 根目录
示例: cd ~
47. ^ 正则表达式中匹配行的开头
示例: grep ‘^home’file
48. \ 转义字符,续行符号
示例: echo “\$A=$A\
This is the first line”;