Shell脚本基础应用详解（一）

一、编制第一个shell脚本

Linux系统中的Shell脚本是一个特殊的应用程序，它介于操作系统内核与用户之间，充当了一个“命令解释器”的角色，负责接收用户输入的操作指令（命令）并进行解释，将需要执行的操作传递给内核执行，并输出执行结果。

常见的shell解释器程序有很多种，使用不同的Shell脚本时，其内部命令、命令行提示等方面会存在一些区别。通过/etc/shells文件可以了解当前系统所支持的Shell脚本种类。

例如：

其中，/bin/bash是目前大多数Linux采用的默认Shell脚本。Bash的全称为Bourne Again Shell，是受欢迎的开源软件项目之一。接下来讲述的所有Shell操作，均以Bash为例。

那么什么是Shell脚本呢？ 

简单地说，只要将平时使用的各种Linux命令按照顺序保存到一个文本文件，然后添加可执行权限，这个可执行文件就成为一个Shell脚本了。

例如：

[root@mysql ~]# cat first.sh 
cd /boot/
pwd
ls -lh vml*

添加可执行权限：

[root@mysql ~]# chmod +x first.sh 

上述first.sh脚本文件中，包括三条命令：cd /boot/、pwd、ls -lh vml*。执行此脚本文件后，输出结果与依次单独执行这三条命令是相同的，从而实现了“批量处理”的自动化过程。

当然，一个合格的Shell脚本程序应该遵循标准的脚本结构，而且能够输出友好的提示信息，更加容易读懂。对于代码较多、结构复杂的脚本，应添加必要的注释文字。改写后的first.sh脚本内容如下所示。

#!/bin/bash
#!this is a BLXH first-scripts
cd /boot/
echo "当前目录位于:"
pwd
echo "其中以vml开头的文件包括:"
ls -lh vml*

上述first.sh脚本文件中，第一行“#！/bin/bash”是一行特殊的脚本声明，表示此行以后的语句通过/bin/bash程序来解释执行；其他以#开头的语句表示注释信息；echo命令用于输出字符串。以使脚本的输出信息更容易读懂。

例如：

直接通过文件路径“./first.sh”的方式执行脚本，要求文件本身具有x权限，在某些安全系统中可能无法满足此条件。鉴于此，Linux操作系统还提供了执行shell脚本的其他方式-----指定某个shell来解释脚本语句，或者通过内部命令Source（或“.”）来加载文件中的源代码执行。

例如：

或者

或者

二、重定向与管道操作

由于shell脚本“批量处理”的特殊性，其大部分操作过程位于后台，不需要用户进行干预。因此学会提取、过滤执行信息变得十分重要。接下来主要介绍shell环境中的两个I/O操作：重定向、管道。

1.重定向操作

Linux系统使用文件来扫描各种硬件、设备等资源，如以前学过的硬盘和分区、光盘等设备文件。用户通过操作系统处理信息的过程中，包括以下几类交互设备文件。

标准输入（STDIN）：默认的设备是键盘。文件编号为0，命令将从标准输入文件中读取，在执行过程中需要输入的数据。

标准输出（STDOUT）：默认的设备是显示器，文件编号为1，命令将执行后的输出结果发送到标准输出文件。

标准错误（STDERR）：默认的设备是显示器，文件编号为2，命令将执行期间的各种错误信息发送到标准错误文件。

标准输入、标准输出和标准错误默认使用键盘和显示器作为关联的设备，与操作系统进行交互，完成最基本的输入、输出操作。从键盘接收用户输入的各种命令字串、辅助控制信息，并将命令结果输出到屏幕上；如果命令执行出错，也会将错误信息反馈到屏幕上。

在实际的Linux系统维护中，可以改变输入、输出内容的方向，而不使用默认的标准输入、输出设备（键盘和显示器），这种操作称为“重定向”。

（1.）重定向输出

重定向输出指的是将命令的正常输出结果保存到指定的文件中，而不是直接显示在显示器的屏幕上。

重定向输出使用>或>>操作符号吗，分别用于覆盖或追加文件。

若重定向输出的目标文件不存在，则会新建该文件，然后将前面命令的输出结果保存到该文件中；若目标文件已经存在，则将输出结果覆盖或追加到文件中。

例如：

[root@mysql ~]# uname -r > kernel.txt

当需要保留目标文件原有的内容时，应改用“>>”操作符号，以便追加内容而不是全部覆盖。

例如：

[root@mysql ~]# uname -r >> kernel.txt 

（2.）重定向输入

重定向输入指的是将命令中接收输入的途径由默认的键盘改为指定的文件，而不是等待从键盘输入。

重定向输入使用“<”操作符。

通过重定向输入可以使一些交互式操作过程能够通过读取文件来完成。

使用passwd命令为用户设置密码时，每次都必须根据提示输入两次密码字串，非常烦琐，若改用重定向输入将可以省略交互式的过程，而自动完成密码设置（结合passwd命令的“--stdin”选项来识别标准输入）。

例如：

[root@mysql ~]# cat pass.txt                    
123456
[root@mysql ~]# passwd --stdin jerry < pass.txt 

没有交互式的操作语句更方便在shell脚本程序中使用，可以大大减少程序被打断的过程，提高脚本执行效率。

（3.）错误重定向

错误重定向指的是将执行命令过程中出现的错误信息（如选项或参数错误等）保存到指定的文件，而不是直接显示在屏幕上。错误重定向使用2>操作符，其中2是指错误文件的编号（在使用标准输出、标准输入重定向时，实际上省略了1、0编号）。

在实际应用中，错误重定向可用来收集程序执行的错误信息，为排错提供依据；对于shell脚本，可以将无关紧要的错误信息重定向到空文件/dev/null中，以保持脚本输出的简洁。

例如：

使用2>操作符时，会像使用>操作符一样覆盖目标文件的内容，若要追加内容而不是覆盖，应改用2>>操作符。

当命了输出的结果可能既包括标准输出（正常执行）信息，又包括错误输出信息时，可以使用操作符>、2>将两类输出信息分别保存到不同的文件，也可以使用&>操作符将两类输出信息保存到同一个文件。

例如：

2.管道操作

管道操作为不同命令之间的协同工作提供了一种机制，位于管道符号“|”左侧的命令输出的结果，将作为右侧命令的输入（处理对象），同一行命令中可以使用多个管道。

在shell脚本应用中，管道操作通常用来过滤所需要的关键信息。

例如：

上例中awk命令的作用是以冒号“：”作为分隔，输出第1、第7个区域的字符串。其中的“-F”部分用来指定分隔符号（未指定时，默认以空格或制表符分隔）。

例如：

重定向与管道操作时shell环境中十分常用的功能，若能够熟练掌握并灵活运用，将有助于编写代码简洁功能强大的shell脚本程序。

三、使用Shell变量

各种shell环境中都使用到了变量的概念。shell变量用来存放系统和用户需要使用的特定参数（值），而且这些参数可以根据用户的设定或系统环境的变化而相应变化。通过使用变量，Shell程序能够提供更加灵活的功能、适应性更强。

常见shell变量的类型包括自定义变量、环境变量、位置变量、预定义变量。

1.自定义变量

自定义变量是由系统用户自己定义的变量，只在用户自己的shell环境中有效因此又称为本地变量。在编写shell脚本程序时，通常会设置一些特定的自定义变量，以适应程序执行过程中的各种变化、满足不同的需求。

（1.）定义新的变量

Bash在的变量操作相对比较简单，不像其他高级编程语言（如C/C++、Java等）那么复杂。

在定义一个新的变量时，一般不需要提前进行声明，而是直接指定变量名称并赋值给初始值（内容）即可。

定义变量的基本格式为“变量名=变量值”，等号两边没有空格。变量名称需以字母或下划线开头，名称中不要包含特殊字符（如+、-、*、/、.、？、%、&、#等）。

例如：

[root@mysql ~]# year=狗年
[root@mysql ~]# dirctory=吉祥

（2.）查看和引用变量的值

通过在变量名称前添加前导符号“$”,可以引用一个变量的值。使用Echo命令可以查看变量，可以在一条Echo命令中同时查看多个变量值。

当变量名称容易和紧跟其后的其他字符向相混淆时，需要添加大括号{}将其括起来，否则将无法确定正确的变量名称。对于未定义的变量，将显示为空值。

（3.）变量赋值的特殊操作

在等号“=”后边直接指定变量内容是为变量赋值的最基本方法，除此之外，还有一些特殊的赋值操作，可以更灵活地为变量赋值，以便适用于各种复杂的管理任务。

 双引号“”

双引号主要起界定字符串的作用，特别是当要赋值的内容中包含空格时，必须以双引号括起来；其他情况下双引号通常可以省略。

例如：

在双引号范围内，使用“$”符号可以引用其他变量的值（变量引用），从而能够直接调用现有变量的值来赋给新的变量

例如：

单引号‘’

当要赋值的内容中包含“$”、‘’" ‘’、“\”等具有特殊含义的字符时，应使用单引号括起来。在单引号的范围内，将无法引用其他变量的值，任何字符均作为普通字符看待。但赋值内容中包含单引号，需使用“\’”符号进行转义，以免冲突。

例如：

反撇号``

反撇号主要用于命令替换，允许将执行某个命令的屏幕输出结果赋值给变量。反撇号括起来的范围内必须是能够执行的命令行，否则将会出错。

例如：

上述操作相当于连续执行了两条命令----先通过which useradd命令查找出useradd命令的程序位置，然后根据查看结果列出文件属性。执行过程中，会用which useradd命令的输出结果替换整个反撇号范围。

例如：

需要注意的是，使用反撇号难以在一行命令中实现嵌套命令替换操作，这时可以改用“$()”来代替反撇号操作，已解决嵌套的问题。

例如：

read命令

除了上述赋值操作以外，还可以使用Bash的内置命令read来给变量赋值。read命令用来提示用户输入信息，从而实现简单的交互过程。执行时将从标准输入设备（键盘）读入一行内容，并以空格为分隔符，将读入的各字段挨个赋值给指定的变量（多余的内容赋值给最后一个变量）。若指定的变量只有一个，则将整行内容赋值给此变量。

例如：

为了使用交互式操作的界面更加友好，提高易用性，read命令可以结合“-p”选项来设置提示信息，以便告知用户应该输入什么内容等相关事项。

例如：

（4.）设置变量的作用范围

默认情况下，新定义的变量只在当前的shell环境中有效，因此成为局部变量。当进入子程序或新的子shell环境时，局部变量将无法再使用。

例如：

为了使用户定义的变量在所有的子shell环境中能够继续使用，减少重复设置工作，可以通过内部命令Export将指定的变量导出为全局变量。可以同时指定第一个变量名称作为参数（不需使用“$”符号），变量名之间以空格分隔。

例如：

使用export导出全局变量的同时，也可以为变量进行赋值，这样在新定义全局变量时就不需要提前进行赋值了。

例如：

（5.）数值变量的运算

shell变量的数值运算多用于脚本程序的过程控制（如循环次数，使用量比较等），下几章博客会介绍到。在Bash Shell环境中，只能进行简单的整数运算、不支持小数运算。整数值的运算主要通过内部命令Expr进行。

基本格式如下：

 expr 变量1 运算符 变量2 [运算符 变量3]...

需要注意，运算符与变量之间必须有至少一个空格！！！

其中，变量1，变量2......对应为需要计算的数值变量（要以“$”符号调用），常用的几种运算符如下所示。

+:加法运算
-:减法运算
\*:乘法运算，注意不能仅使用"*"符号，否则将被当成文件通配符。
/:除法运算
%:求模运算，又称为取余运算、用来计算数值相除后的余数。

以下操作设置了x（值为35）、Y（值为16）两个变量，并依次演示了变量x、y的加、减、乘、除、取模运算结果。

若要将运算结果赋值给其他变量，可以结合命令替换操作（使用反撇号）。

例如：

特殊的shell变量

除了用户自行定义的shell变量以外，在Linux系统和Bash Shell环境中还有一系列的特殊变量----环境变量、位置变量、预定义变量。

2.环境变量

环境变量指的是出于运行需要而由Linux系统提前创建的一类变量，主要用于设置用户的工作环境，包括用户宿主目录、命令查找路径、用户当前目录、登录终端等。环境变量的值由Linux系统自动维护，会随着用户状态的改变而改变。

使用env命令可以查看到当前工作环境下的环境变量，对于常见的一些环境变量应了解其各自的用途。

例如：

变量USER表示用户名称、HOME表示用户的宿主目录、LANG表示语言和字符集、PWD表示当前所在的工作目录、PATH表示命令搜索路径等。

PATH变量用于设置可执行程序的默认搜索路径，当仅指定文件名称来执行命令程序时，Linux系统将在PATH变量指定的目录范围查找对应的可执行文件，如果找不到则会提示“command not found”。

若希望能直接通过文件名称来运行脚本，可以修改PATH变量以添加搜索路径，或者将first.sh脚本复制到现有搜索路径中的某个文件夹下。

在Linux系统中，环境变量的全局配置文件为/etc/profile，在此文件中定义的变量作用于所有用户。除此之外，每个用户还有自己的独立配置文件（~/.bash_profile）。若要长期变更或设置某个环境变量，应在上述文件中进行设置。

例如：执行以下操作可以将记录的历史命令条数改为200条（默认1000条），只针对root用户。

[root@mysql ~]# vim /root/.bash_profile 

上述修改配置只有当root用户下次登录时才会生效。若希望立即生效，应手动修改环境变量，或者可以加载配置文件执行。

3.位置变量

为了使用shell脚本程序时，方便通过命令行为程序提供操作参数，Bash引入了位置变量的概念。当执行命令行时，第一个字段表示命令名或脚本程序名，其余的字符串参数按照从左到右的顺序依次赋值给位置变量。

位置变量也称为位置参数，使用$1、$2、$3、$4、.....$9表示。

例如：当执行命令行“ls -lh /boot/”时，其中第1个位置变量为“-lh”，以“$1”表示，第2个位置变量为“/boot/”，以“$2”表示。

命令或脚本本身的名称使用“$0”表示，虽然$0与位置变量的格式相同，但是$0属于预定义变量而不是位置变量。

例如：

4.预定义变量

预定义变量是由Bash程序预先定义好的一类特殊变量，用户只能使用预定义变量，而不能创建新的预定义变量，也不能直接为预定义变量赋值。预定义变量使用“$”符号和另一个符号组合表示，较常用的几个预定义变量的含义如下。

$#:表示命令行中位置参数的个数。

$*:表示所有位置参数的内容

$?:表示前一条命令执行后的返回状态，返回值为0表示执行正确，返回任何非0值均表示执行出现异常。关于$?变量的使用将在后续博客中提到。

$0:表示当前执行的脚本或程序的名称。

为了说明预定义变量的作用，下面编写一个备份操作的小脚本，用来打包命令行指定的多个文件或目录，并输出相关信息。其中，新建的压缩包文件名称中嵌入秒刻（从1970年1月1日至今经过的秒数），通过“date+%s”命令获取秒刻时间。

例如：

四、使用shell脚本结合任务计划对数据库进行备份

1.确定备份方案以及使用mysqldump进行逻辑备份

对于存在多个应用的数据库服务器，备份工作可能会划分得比较细，需要针对不同的库和表、不同的备份路径使用不同的验证用户等。

下面以远程备份数据库中的两个论坛库为例，备份环境与需求如下：

备份主机：IP地址为192.168.197.208

数据库服务器：IP地址为192.168.197.209

备份内容：对MySQL服务器中的studydb、coursedb论坛库进行远程备份，每天凌晨2：30执行，每个库备份为独立的.sql文

件，然后压缩为“.tar.gz”格式，文件名中嵌入执行备份的日期和时刻。

注意：为了顺利完成上述备份方案，首先需要做三个工作：

其一：确保备份主机与数据库服务器之间保持连接畅通，不能有网络链路故障、防火墙封锁等阻碍。

其二：mysql服务必须允许从备份主机远程访问，且授权用户能够查询studydb、coursedb论坛库。

其三：针对本案例的情况，可以创建一个专用的数据库备份账户Operator，允许从备份主机192.168.197.208连接到mysql数据

库，并授予对studydb、coursedb论坛库的读取权限。

使用逻辑备份工具mysqldump时，需要对库设置select和lock tables权限。

（1.）创建一个专用的数据库备份账户Operator，允许从备份主机192.168.197.208连接到mysql数据库，并

授予对studydb、coursedb论坛库的读取权限，使用逻辑备份工具mysqldump时，需要对库设置select和lock tables权限。

（2.）然后在备份主机上测试数据库访问、查询授权等是否有效，或者直接使用mysqldump备份工具进行测试。

2.编写mysql备份脚本

在备份主机中，创建用来存放备份文件的目录（如/opt/luntan_dbbak），并编写相应的备份脚本（luntandb.sh）,确认能够成功执行备份。脚本代码中，对于目标主机的IP地址、用户名、密码、备份路径、文件名等信息。可能会在必要的时候变更。为了方便更新脚本，这些内容最好存放到固定名称的变量中。

[root@kang ~]# mkdir -p /opt/luntan_dbbak
[root@kang ~]# vim luntandb.sh

#!/bin/bash
#这是一个简化的mysql数据库逻辑备份脚本
# 1.定义数据库连接、目标库信息
MY_USER="operator"
MY_PASS="pwd123"
MY_HOST="192.168.197.209"
MY_CONN="-u $MY_USER -p$MY_PASS -h $HOST"
MY_DB1="studydb"
MY_DB2="coursedb"
# 2.定义备份目录、工具、时间、文件名主体
BF_DIR="/opt/luntan_dbbak/"
BF_CMD="/usr/local/mysql/bin/mysqldump"
BF_TIME='date +%Y%m%d-%H%M'
NAME_1="$MY_DB1-$BF_TIME"
NAME_2="$MY_DB2-$BF_TIME"
# 3.先导出为.sql脚本，然后再进行压缩（打包后删除原文件）
cd $BF_DIR
$BF_CMD $MY_CONN  --databases $MY_DB1 > $NAME_1.sql
$BF_CMD $MY_CONN  --databases $MY_DB2 > $NAME_2.sql
/bin/tar zcf $NAME_1.tar.gz $NAME_1.sql --remove &> /dev/null
/bin/tar zcf $NAME_2.tar.gz $NAME_2.sql --remove &> /dev/null

当需要备份的数据库发送变化时，只要修改脚本中的相关变量即可，从而使备份脚本具有可重用、可移植使用的特点，减少了大量重复编码的工作量。

3.设置计划任务

有了批量备份的shell脚本以后，接下来可按照备份要求设置计划任务，以便自动、定期执行备份操作。在Crontab配置记录中，直接指定luntandb.sh 脚本程序的路径作为执行命令。

mv luntandb.sh /opt/luntan_dbbak/

[root@kang ~]# crontab -e 

30 2 * * * /opt/luntan_dbbak/luntandb.sh 

到这里有关于Shell脚本基础应用就演示完毕了！！！恭祝大家新年快乐！！！希望对你有所帮助！！！！

@@@@再见！！！！