一:Shell 脚本概述
在一些复杂的
Linux
维护工作中,大量重复性的输入和交互操作不仅费时费力,而且容
易出错,而编写一个恰到好处的
Shell
脚本程序,可以批量处理、自动化地完成一系列维护
任务,大大减轻管理员的负担。
1:Shell 的作用
Linux
系统中的
Shell
是一个特殊的应用程序,它介于操作系统内核与用户之间,充当
了一个
“
命令解释器
”
的角色,负责接收用户输入的操作指令(命令)并进行解释,将需要执
行的操作传递给内核执行,并输出执行结果。
常见的
Shell
解释器程序有很多种,使用不同的
Shell
时,其内部指令、命令行提示符
等方面会存在一些区别。通过
/etc/shells
文件可以了解当前系统所支持的
Shell
脚本种类。
[root@localhost ~]# cat /etc/shells
/bin/sh
/bin/bash
/sbin/nologin …… //省略部分内容
2:编写第一个 Shell 脚本
Bash
(
/bin/bash
)是目前大多数
Linux
版本采用的默认
Shell
。
Bash
的全称为
Bourne
Again Shell
,是最受欢迎的开源软件项目之一。本课程中讲述的所有
Shell
操作,均以
Bash
为例。
那么,什么是
“Shell
脚本
”
呢?简单地说,只要将平时使用的各种
Linux
命令按顺序保存
到一个文本文件中,然后添加可执行权限,这个文件就成为一个
Shell
脚本了。例如,执行
以下操作可以创建第一个脚本文件:
first.sh
。
[root@localhost ~]# vim first.sh //新建 first.sh 文件
cd /boot/
pwd
ls -lh vml*
[root@localhost ~]# chmod +x first.sh //添加可执行权限
上述
first.sh
脚本文件中,包括三条命令:
cd /boot/
、
pwd
、
ls -lh vml*
。执行此脚本文
件后,输出结果与依次单独执行这三条命令是相同的,从而实现了
“
批量处理
”
的自动化过程。
[root@localhost ~]# ./first.sh //直接运行脚本文件
/boot -rwxr-xr-x. 1 root root 5.2M Dec 10 2018 vmlinuz-0-rescue-0df49bdbc4fe42d4a24ed07e58d15436
-rwxr-xr-x. 1 root root 5.2M Nov 23 2016 vmlinuz-3.10.0-514.el7.x86_64
当然,一个合格的
Shell
脚本程序应该遵循标准的脚本结构,而且能够输出友好的提示
信息,更加容易读懂。对于代码较多,结构复杂的脚本,应添加必要的注释文字。改写后的
first.sh
脚本内容如下所示。
[root@localhost ~]# vim first.sh
#!/bin/bash
# This is my first Shell-Script. cd /boot
echo "当前的目录位于:" pwd
echo "其中以 vml 开头的文件包括:"
ls -lh vml*
上述
first.sh
脚本文件中,第一行
“#!/bin/bash”
是一行特殊的脚本声明,表示此行以后的
语句通过
/bin/bash
程序来解释执行;其他以
“#”
开头的语句表示注释信息;
echo
命令用于输
出字符串,以使脚本的输出信息更容易读懂。例如,执行改写后的
first.sh
脚本,输出结果
如下所示。
[root@localhost ~]# ./first.sh
当前的目录位于:/boot
其中以
vml
开头的文件包括:
-rwxr-xr-x. 1 root root 5.2M Dec 10 2018 vmlinuz-0-rescue-0df49bdbc4fe42d4a24ed07e58d15436
-rwxr-xr-x. 1 root root 5.2M Nov 23 2016 vmlinuz-3.10.0-514.el7.x86_64
直接通过
“./first.sh”
的方式执行脚本,要求文件本身具有
x
权限,在某些安全系统中可
能无法满足此条件。鉴于此,
Linux
操作系统还提供了执行
Shell
脚本的其他方式
——
指定
某个
Shell
来解释脚本语句,或者通过内部命令
source
(或点号
“.”
)来加载文件中的源代码
执行。例如,使用
“sh first.sh”
或
“. first.sh”
也可以执行
first.sh
脚本中的语句。
[root@localhost ~]# sh first.sh //通过/bin/sh 来解释脚本
或
[root@localhost ~]# . first.sh //通过点号来加载脚本
Linux
系统中包括大量的
Shell
脚本文件,在学习
Shell
脚本的过程中可用来作为参考,
但应尽量避免直接修改系统内的
Shell
脚本文件,以免导致服务或系统故障。
3:重定向与管道操作
由于
Shell
脚本
“
批量处理
”
的特殊性,其大部分操作过程以静默方式运行,不需要用户
进行干预。因此学会提取、过滤执行信息变得十分重要。本小节主要介绍
Shell
环境中的两
个
I/O
操作:重定向和管道。
1:重定向操作
Linux
系统使用文件来描述各种硬件、设备等资源,如以前学过的硬盘和分区、光盘等
设备文件。用户通过操作系统处理信息的过程中,包括以下几类交互设备文件。
标准输入(
STDIN
):默认的设备是键盘,文件编号为
0
,命令将从标准输入文件
中读取在执行过程中需要的输入数据。
标准输出(
STDOUT
):默认的设备是显示器,文件编号为
1
,命令将执行后的输
出结果发送到标准输出文件。
标准错误(
STDERR
):默认的设备是显示器,文件编号为
2
,命令将执行期间的
各种错误信息发送到标准错误文件。
标准输入、标准输出和标准错误默认使用键盘和显示器作为关联的设备,与操作系统进
行交互,完成最基本的输入、输出操作,即从键盘接收用户输入的各种命令字串、辅助控制
信息,并将命令结果输出到屏幕上;如果命令执行出错,也会将错误信息反馈到屏幕上。
在实际的
Linux
系统维护中,可以改变输入、输出内容的方向,而不使用默认的标准输
入、输出设备(键盘和显示器),这种操作称为重定向。
(1)重定向输出
重定向输出指的是将命令的正常输出结果保存到指定的文件中,而不是直接显示在显示
器的屏幕上。重定向输出使用
“>”
或
“>>”
操作符号,分别用于覆盖或追加文件。
若重定向输出的目标文件不存在,则会新建该文件,然后将前面命令的输出结果保存到
该文件中;若目标文件已经存在,则将输出结果覆盖或追加到文件中。例如,若要将当前主
机的
CPU
类型信息(
uname -p
)保存到
kernel.txt
文件中,而不是直接显示在屏幕上,可
以执行以下操作。
[root@localhost ~]# uname -p > kernel.txt
[root@localhost ~]# cat kernel.txt
x86_6
当需要保留目标文件原有的内容时,应改用
“>>”操作符号,以便追加内容而不是全部覆盖。例如,执行以下操作可以将内核版本信息追加到
kernel.txt
文件中。
[root@localhost ~]# uname -r >> kernel.txt
[root@localhost ~]# cat kernel.txt
x86_64
3.10.0-514.el7.x86_64
(2)重定向输入
重定向输入指的是将命令中接收输入的途径由默认的键盘改为指定的文件,而不是等待
从键盘输入。重定向输入使用
“<”
操作符。
通过重定向输入可以使一些交互式操作过程能够通过读取文件来完成。例如,使用
passwd
命令为用户设置密码时,每次都必须根据提示输入两次密码字串,非常烦琐,若改
用重定向输入将可以省略交互式的过程,而自动完成密码设置(结合
passwd
命令的
“--stdin”
选项来识别标准输入)。
[root@localhost ~]# vim pass.txt //添加初始密码串内容"123456" 123456
[root@localhost ~]# passwd --stdin jerry < pass.txt
//从 pass.txt 文件中取密码,需要注意 SELinux 会影响此命令执行,若执行失败可尝试关闭 SELinux
Changing password for user jerry. passwd: all authentication tokens updated successfully.
非交互式命令语句可以更方便的在
Shell
脚本中使用,从而大大减少程序被打断的过程
,
提高脚本执行的效率。
(3)错误重定向
错误重定向指的是将执行命令过程中出现的错误信息(如选项或参数错误等)保存到指
定的文件,而不是直接显示在屏幕上。错误重定向使用
“2>”
操作符,其中
“2”
是指错误文件的
编号(在使用标准输出、标准输入重定向时,实际上省略了
1
、
0
编号)。
在实际应用中,错误重定向可用来收集程序执行的错误信息,为排错提供依据;对于
Shell
脚本,还可以将无关紧要的错误信息重定向到空文件
/dev/null
中,以保持脚本输出的
简洁。例如,执行以下操作可以将使用
tar
命令进行备份时出现的错误信息保存到
error.log
文件中。
[root@localhost ~]# tar jcf /nonedir/etc.tgz /etc/ 2> error.log
[root@localhost ~]# cat error.log
tar: Removing leading `/' from member namestar (child): /nonedir/etc.tgz:
Cannot open
: No such file or directory
tar (child): Error is not recoverable: exiting now
使用
“2>”
操作符时,会像使用
“>”
操作符一样覆盖目标文件的内容,若要追加内容而不
是覆盖文件,则应改用
“2>>”
操作符。
当命令输出的结果可能既包括标准输出(正常执行)信息,又包括错误输出信息时,可
以使用操作符
“>”“2>”
将两类输出信息分别保存到不同的文件,也可以使用
“&>”
操作符将两类
输出信息保存到同一个文件。例如,在编译源码包的自动化脚本中,若要忽略
make
、
make
install
等操作过程信息,则可以将其定向到空文件
/dev/null
。
[root@localhost ~]# vim httpd_install.sh
#!/bin/bash
# 自动编译安装 httpd 服务器的脚本
cd /usr/src/httpd-2.4.25/
./configure --prefix=/usr/local/httpd --enable-so &> /dev/null
make &> /dev/null
make install &> /dev/null …… //省略部分内容
[root@localhost ~]# chmod +x httpd_install.sh
2.管道操作
管道(
pipe
)操作为不同命令之间的协同工作提供了一种机制,位于管道符号
“|”
左侧的
命令输出的结果,将作为右侧命令的输入(处理对象),同一行命令中可以使用多个管道。
在
Shell
脚本应用中,管道操作通常用来过滤所需要的关键信息。例如,使用
grep
命
令查询使用
/bin/bash
作为
Shell
的系统用户名时,会输出符合条件的整行内容,在此基础上
可以结合管道操作与
awk
命令做进一步过滤,只输出用户名和登录
Shell
列。
[root@localhost ~]# grep "/bin/bash$" /etc/passwd //提取之前
root:x:0:0:root:/root:/bin/bash
bdqn:x:1000:1000:bdqn:/home/bdqn:/bin/bash
tsengyia:x:1002:1002::/home/tsengyia:/bin/bash
jerry:x:1003:1003::/home/jerry:/bin/bash
lisi:x:1004:1004::/home/lisi:/bin/bash
[root@localhost ~]# grep "/bin/bash$" /etc/passwd | awk -F: '{print $1,$7}' //提取之后
root /bin/bash
bdqn /bin/bash
tsengyia /bin/bash
jerry /bin/bash
lisi /bin/bash
上例中
awk
命令的作用是以冒号
“:”
作为分隔,输出第
1
个、第
7
个区域的字符串。其
中的
“-F”
部分用来指定分隔符号(未指定时,默认以空格或制表符分隔)。关于
awk
命令的
更多用法,在后面的章节中再做详细介绍,本章不做过多讲解。
又如,若要提取根分区(
/
)的磁盘使用率信息,可以执行以下操作,其中用到了
df
、
grep
、
awk
命令和管道操作。
[root@localhost ~]# df -hT //提取之前
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/cl-root xfs 50G 8.0G 43G 16% /
devtmpfs devtmpfs 473M 0 473M 0% /dev
tmpfs tmpfs 489M 144K 489M 1% /dev/shm
tmpfs tmpfs 489M 14M 476M 3% /run
tmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
/dev/mapper/cl-home xfs 42G 33M 42G 1% /home
tmpfs tmpfs 98M 24K 98M 1% /run/user/0
/dev/sr0 iso9660 4.1G 4.1G 0 100% /media/cdrom
[root@localhost ~]# df -hT | grep "/$" | awk '{print $6}' //提取之后,其中 grep "/$"表示提取以"/"结尾的行
16%
重定向与管道操作是
Shell
环境中十分常用的功能,若能够熟练掌握并灵活运用,将有
助于编写代码简洁但功能强大的
Shell
脚本程序。
二:Shell 变量的作用、类型
各种
Shell
环境中都使用到了
“
变量
”
的概念。
Shell
变量用来存放系统和用户需要使用的
特定参数(值),而且这些参数可以根据用户的设定或系统环境的变化而相应变化。通过使
用变量,
Shell
程序能够提供更加灵活的功能,适应性更强。
常见
Shell
变量的类型包括自定义变量、环境变量、只读变量、位置变量、预定义变量。
本节将分别介绍这四种
Shell
变量的使用。
1:自定义变量
自定义变量是由系统用户自己定义的变量,只在用户自己的
Shell
环境中有效,因此又
称为本地变量。在编写
Shell
脚本程序时,通常会设置一些特定的自定义变量,以适应程序
执行过程中的各种变化,满足不同的需要。
1.定义新的变量
Bash
中的变量操作相对比较简单,不像其他高级编程语言(如
C/C++
、
Java
等)那
么复杂。在定义一个新的变量时,一般不需要提前进行声明,而是直接指定变量名称并赋
给初始值(内容)即可。
定义变量的基本格式为
“
变量名
=
变量值
”
,等号两边没有空格。变量名称需以字母或下
划线开头,名称中不要包含特殊字符(如
+
、
-
、
*
、
/
、
.
、
?
、
%
、
&
、
#
等)。例如,若要定
义一个名为
“Product”
的变量(值为
Python
)和一个名为
“Version”
的变量(值为
2.7.13
),
可以执行以下操作。
[root@localhost ~]# Product=Python
[root@localhost ~]# Version=2.7.13
2.查看和引用变量的值
通过在变量名称前添加前导符号
“$”
,可以引用一个变量的值。使用
echo
命令可以查看
变量,可以在一条
echo
命令中同时查看多个变量值。
[root@localhost ~]# echo $Product
Python
[root@localhost ~]# echo $Product $Version
Python 2.7.13
当变量名称容易和紧跟其后的其他字符相混淆时,需要添加大括号
“{}”
将其括起来,否
则将无法确定正确的变量名称。对于未定义的变量,将显示为空值。
[root@localhost ~]# echo $Product2.5 //变量 Product2.5 并未定义
.5
[root@localhost ~]# echo ${Product}2.5
Python2.5
3.变量赋值的特殊操作
在等号
“=”
后边直接指定变量内容是为变量赋值的最基本方法,除此之外,还有一些特
殊的赋值操作,可以更灵活地为变量赋值,以便适用于各种复杂的管理任务。
(1)双引号(”)
双引号主要起界定字符串的作用,特别是当要赋值的内容中包含空格时,必须以双引号
括起来;其他情况下双引号通常可以省略。例如,若要将
Python 2.7.13
赋值给变量
PYTHON
,应执行
PYTHON=“Python 2.7.13”
操作。
[root@localhost ~]# PYTHON=Python 2.7.13 //错误的赋值
bash: 2.7.13: command not found
[root@localhost ~]# PYTHON="Python 2.7.13" //正确的赋值
[root@localhost ~]# echo $PYTHON
Python 2.7.13
在双引号范围内,使用
“$”
符号可以引用其他变量的值(变量引用),从而能够直接调
用现有变量的值来赋给新的变量。例如,执行以下操作可以调用变量
Version
的值,将其赋
给一个新的变量
PyVersion
,最终的值为
“
Python
2.7.13”
。
[root@localhost ~]# PyVersion="Python $Version" //以变量的值进行赋值
[root@localhost ~]# echo $PyVersion
Python 2.7.13
(2)单引号(‘)
当要赋值的内容中包含
$
、
“
、
\
等具有特殊含义的字符时,应使用单引号括起来。在单
引号的范围内,将无法引用其他变量的值,任何字符均作为普通字符看待。但赋值内容中包
含单引号(
‘
)时,需使用
\’
符号进行转义,以免冲突。
[root@localhost ~]# PyVersion='Python $Version' //$符号不能再引用变量
[root@localhost ~]# echo $PyVersion //原样输出字符串
Python $Version
(3)反撇号(`)
反撇号主要用于命令替换,允许将执行某个命令的屏幕输出结果赋值给变量。反撇号括
起来的范围内必须是能够执行的命令行,否则将会出错。例如,若要在一行命令中查找
useradd
命令程序的位置并列出其详细属性,可以执行以下操作。
[root@localhost ~]# ls -lh `which useradd`
-rwxr-x---. 1 root root 101K 8 月 2 2011 /usr/sbin/useradd
上述操作相当于连续执行了两条命令
——
先通过
which useradd
命令查找出
useradd
命令的程序位置,然后根据查找结果列出文件属性。执行过程中,会用
which useradd
命令
的输出结果替换整个反撇号范围。
又如,若要提取
vsftpd
服务的禁止登录用户列表,并将其赋值给变量
DenyList
,可以
执行以下操作。
[root@localhost ~]# DenyList=`grep -v "^#" /etc/vsftpd/ftpusers`
[root@localhost ~]# echo $DenyList
root bin daemon adm lp sync shutdown halt mail news uucp operator games nobody
需要注意的是,使用反撇号难以在一行命令中实现嵌套命令替换操作,这时可以改用
“$()”
来代替反撇号操作,以解决嵌套的问题。例如,若要查询提供
useradd
命令程序的软件
包所安装的配置文件位置,可以执行以下操作(从里到外先后执行替换)。
[root@localhost ~]# rpm -qc $(rpm -qf $(which useradd))
/etc/default/useradd
/etc/login.defs
(4)read 命令
除了上述赋值操作以外,还可以使用
Bash
的内置命令
read
来给变量赋值。
read
命令
用来提示用户输入信息,从而实现简单的交互过程。执行时将从标准输入设备(键盘)读入
一行内容,并以空格为分隔符,将读入的各字段依次赋值给指定的变量(多余的内容赋值给
最后一个变量)。若指定的变量只有一个,则将整行内容赋值给此变量。
例如,执行以下操作将会等待用户输入文字,并将输入的内容赋值给变量
ToDir1
。
[root@localhost ~]# read ToDir1
/opt/backup/ //输入变量 ToDir1 的值为/opt/backup/
[root@localhost ~]# echo $ToDir1
/opt/backup/
为了使交互式操作的界面更加友好,提高易用性,
read
命令可以结合
“-p”
选项来设置提
示信息,以便告知用户应该输入什么内容等相关事项。例如,若希望提示用户输入备份文件
的存放目录,并将输入的路径信息赋值给变量
ToDir2
,可以执行以下操作。
[root@localhost ~]# read -p "请指定备份存放目录:" ToDir2
请指定备份存放目录:/opt/backup
[root@localhost ~]# echo $ToDir2
/opt/backup
4.设置变量的作用范围
默认情况下,新定义的变量只在当前的
Shell 环境中有效,因此称为局部变量。当进入
子程序或新的子
Shell
环境时,局部变量将无法再使用。例如,直接执行
Bash
进入一个新
的子
Shell
脚本后,将无法引用父级
Shell
环境中定义的
Product
、
Version
等变量。
[root@localhost ~]# echo "$Product $Version" //查看当前定义的变量值
Python 2.7.13
[root@localhost ~]# bash //进入子 Shell 环境
[root@localhost ~]# echo "$Product $Version" //无法调用父 Shell 环境中的变量
[root@localhost ~]# exit //返回原有的 Shell 环境
为了使用户定义的变量在所有的子
Shell
环境中能够继续使用,减少重复设置工作,可
以通过内部命令
export
将指定的变量导出为全局变量。用户可以同时指定多个变量名称作
为参数(无须使用
“$”
符号),变量名之间以空格分隔。
[root@localhost ~]# echo "$Product $Version" //查看当前定义的变量值
Python 2.7.13
[root@localhost ~]# export Product Version //将 Product、Version 设为全局变量
[root@localhost ~]# bash //进入子 Shell 环境
[root@localhost ~]# echo "$Product $Version" Python 2.7.13 //可以调用父 Shell 的全局变量
[root@localhost ~]# exit //返回原有的 Shell 环境
使用
export
导出全局变量的同时,也可以为变量进行赋值,这样在新定义全局变量时
就不需要提前进行赋值了。例如,执行以下操作可以直接新建一个名为
FQDN
的全局变量。
[root@localhost ~]# export FQDN="www.jb-aptech.com.cn"
[root@localhost ~]# echo $FQDN
www.jb-aptech.com.cn
5.数值变量的运算
Shell
变量的数值运算多用于脚本程序的过程控制(如循环次数、使用量比较等,后续
章节会介绍)。在
Bash Shell
环境中,只能进行简单的整数运算,不支持小数运算。整数
值的运算主要通过内部命令
expr 进行,基本格式如下所示。需要注意,运算符与变量之间必须有至少一个空格。
expr 变量 1 运算符 变量 2 [运算符 变量 3]…
其中,变量
1
、变量
2……
对应为需要计算的数值变量(需要以
“$”
符号调用),常用的
几种运算符如下所述。
+
:加法运算。
-
:减法运算。
\*
:乘法运算,注意不能仅使用
“*”
符号,否则将被当成文件通配符。
/
:除法运算。
%
:求模运算,又称为取余运算,用来计算数值相除后的余数。
以下操作设置了
X
(值为
35
)、
Y
(值为
16
)两个变量,并依次演示了变量
X
、
Y
的
加、减、乘、除、取模运算结果。
[root@localhost ~]# X=35
[root@localhost ~]# Y=16
[root@localhost ~]# expr $X + $Y
51
[root@localhost ~]# expr $X - $Y
19
[root@localhost ~]# expr $X \* $Y
560
[root@localhost ~]# expr $X / $Y
2
[root@localhost ~]# expr $X % $Y
3
若要将运算结果赋值给其他变量,可以结合命令替换操作(使用反撇号)。例如,计算
变量
Y
的
3
次方,并将结果赋值给变量
Ycube
。
[root@localhost ~]# Ycube=`expr $Y \* $Y \* $Y`
[root@localhost ~]# echo $Ycube
4096