Shell脚本

一、Shell概述

Shell是命令行解释器，用来逐句解释并执行shell语句，调用操作系统的内核。

二、Shell解析器

1. Linux提供的Shell解析器有

   [root@VM-0-13-centos ~]# cat /etc/shells
   /bin/sh
   /bin/bash
   /sbin/nologin
   /usr/bin/sh
   /usr/bin/bash
   /usr/sbin/nologin
   /bin/tcsh
   /bin/csh
   

2. sh是bash的一个软连接

   [root@VM-0-13-centos bin]# ll | grep bash
   -rwxr-xr-x  1 root root       964536 Apr  1  2020 bash
   lrwxrwxrwx  1 root root           10 Aug  7  2020 bashbug -> bashbug-64
   -rwxr-xr-x  1 root root         6964 Apr  1  2020 bashbug-64
   lrwxrwxrwx  1 root root            4 Aug  7  2020 sh -> bash
   

3. Centos默认的解析器是bash

   [root@VM-0-13-centos bin]# echo $SHELL
   /bin/bash
   

三、Shell脚本执行

Cent os通过软链接/bin/sh来调用/bin/bash解释器，是红帽系下的一个系统分支。/sbin/nologin是未登录情况下的解释器，COKEMV影视用于远程控制未登录的账户，ssh hadoop103 ‘ls’。

执行脚本的三种方法

①采用输入脚本的绝对路径或相对路径执行脚本（脚本以#!/bin/bash开头指定解析器，必须具有可执行权限+x）

②采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）

③使用 source test.sh 或 . test.sh 的方式执行，可以使脚本内容在当前shell里执行，而无需打开子shell。因此可以在原shell下读到脚本中定义的变量（不用赋予脚本+x权限）

④放到bash和sh所在的文件夹（/bin)下，则在别处可以直接运行脚本。/home/hxr/bin目录下实现全局使用，将xsync移动到/usr/local/bin也可以。

NOTE：执行时调用bash解释器执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限。第二种自执行方法，本质是脚本需要自己执行，所以需要执行权限。

shell的子进程和变量的作用范围
① ./*.sh sh ./*.sh 或 bash ./*.sh 三种执行脚本的方式都是重启一个子shell，在子shell中执行此脚本，每个脚本在各自的子进程中执行。
② source ./*.sh 和 . ./*.sh的执行方式是等价的，两种执行方式都是在当前shell进程中执行，而不是重启子shell进程。
Shell语句只有一种变量：字符串,作用域为当前的shell下，每个shell终端下就是不同的shell域，一个shell就是一个进程。

单敲bash就创建一个子shell，再敲exit返回原shell。可以通过ps -ef查看子shell的父shell进程。如果需要变量a的作用域递归扩展到其子shell中，需要在变量前添加export，如export a=hello。

四、Shell的变量

Shell语句只有一种变量：字符串

4.1 系统变量

常用系统变量： $HOME、$PWD、$SHELL、$USER

显示当前Shell中所有变量： set

4.2 自定义变量

1. 基本语法

• 定义变量：变量=值
• 撤销变量：unset 变量
• 声明静态变量：readonly 变量=值 （注意：不能修改，不能unset）

1. 变量定义规则

• 变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。
• 等号两侧不能有空格
• 在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。
• 变量的值如果有空格，需要使用双引号或单引号括起来。

1. 变量提升为全局环境变量

• export a 会将a的作用域递归扩展到其子shell中；
• 或直接export A=值 直接将A定义为全局变量。

1. Linux引用系统变量前加%

   Windows用于系统变量前后都加%

4.3 变量加载

系统变量：/etc/profile
用户变量：~/.bash_profile | ~/.bash_login | ~/.profile /etc/profile.d/*

login 和 non-login shell
login方式加载顺序：etc/profile -> ~/.bash_profile | ~/.bash_login | ~/.profile(加载时，按照上述顺序进行加载，只要加载到一个文件就停止加载)
non-login方式加载顺序：不会加载 etc/profile，会加载~/.bashrc和profile.d文件夹下的脚本。

4.3 特殊变量：$n

• $n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，，十以上的参数需要用大括号包含，如${10}）

4.4 特殊变量：$#

• $# （功能描述：获取所有输入参数个数，常用于循环）

4.5 特殊变量：$*、$@

• $* （功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）
• $@ （功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）

代表命令行中所有的参数。可用于for循环遍历命令行参数，$*和$@都表示传递给函数或脚本的所有参数，不被双引号" "包含时，都以$1 $2 …$n的形式输出所有参数。都被双引号包含时，$*代表一个整体，遍历就输出一个字符串。$@把参数区分对待，遍历可以输出每个命令行参数。

4.6 特殊变量：$？

• $？ （功能描述：最后一次执行的命令的返回状态。变量的值为0，证明上一个命令正确执行；变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）

五、运算符

• "[运算式]" （最常用$[ 运算式 ]）

  例：S=$[(2+3)*4] 通过echo S 打印得到20

• expr + , - , \*, /, % 加，减，乘，除，取余

  注意：expr运算符间要有空格

  例：

  expr 3 \* 2   打印得到6
  expr `expr 2 + 3` \* 4  打印得到20
  

六、条件判断

1. 基本语法

   [ condition ] （注意condition前后要有空格）

   注意：条件非空即为true，[ hxr ]返回true，[] 返回false；[ ！hxr ]返回false，[！] 返回true。

1. 常用判断条件

   -z判断字符串是否为空串

   取反 if !(test -z $files )

   （1）两个整数之间比较

   = 字符串比较

   -lt 小于（less than） -le 小于等于（less equal）

   -eq 等于（equal） -gt 大于（greater than）

   -ge 大于等于（greater equal） -ne 不等于（Not equal）

   （2）按照文件权限进行判断

   -r 有读的权限（read） -w 有写的权限（write）

   -x 有执行的权限（execute）

   （3）按照文件类型进行判断

   -f 文件存在并且是一个常规的文件（file）

   -e 文件存在（existence） -d 文件存在并是一个目录（directory）

   -n “$1” 判断字符串是否为空

   或直接if [ $1 ] 如果未传参，则为false。

1. 多条件判断

   [ condition ] && [ condition ] 与

   [ condition ] || [ condition ] 或

七、流程控制

程序执行后会返回执行状态码：0表示正常执行，1表示没有执行完。$？返回上一次执行状态。
也可以判断上条语句的判断是是否是true（true返回0），false（false返回1）。

7.1 if 判断

if [ 条件判断 ]
then
  [程序]
elif [ 条件判断 ]
  [程序]
else
  [程序]
fi

注意事项：
（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格；
（2）if后要有空格；
（3）Shell中语句以；或换行为结束 if [] ; then 或 if[] /n then 。

7.2 case 语句

case $1 in
"字符串")
程序
;;
"字符串")
程序
;;
"*")
程序
;;
esac

Shell中的case语言每个分支以;;结尾，不会像java一样不写break有雪崩。

7.3 for 循环

1. 基本语法1

for (( 初始值;循环控制条件;变量变化 ))
do
  程序
done

1. 基本语法2（遍历，类似java中的增强for）
   ｛109...100｝表示109到100的所有数

for 变量 in 值1 值2 值3…
do
   程序
done

for循环遍历命令行参数
$* 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号“”包含时，都以2 …*代表一个整体，遍历就输出一个字符串。$@把参数区分对待，可以输出每个命令行参数。

7.4 while 循环

while [ 条件判断式 ]
do
  程序
done

八、read读取控制台输入

当执行到这句话时，系统就会等待用户输入参数的值，并将用户输入的值赋给参数。

• read(选项)(参数)

选项	说明
-p	指定读取值时的提示符；
-t	指定读取值时等待的时间（秒）；

参数是指定读取值的变量名。

例：

#!/bin/bash
// 提示7秒内，读取控制台输入的名称
read -t 7 -p "Enter your name in 7 seconds " NAME
echo $NAME

写入到文件

cat  <<EOF  >  test.sh
DEVICE=eth0
TYPE=Ethernet
EOF

向test.sh文件中写入内容，直到输入EOF才结束。

九、函数

9.1 系统函数

basename
basename [string / pathname] [suffix] 得到最后一个/后面的字符串，如果指定了suffix且字符串以suffix结尾，会将suffix的内容从结果中去掉。
例：basename /home/atguigu/banzhang.txt .txt 得到结果 banzhang

dirname
dirname [string / pathname] 得到最后一个/前面的字符串
例：dirname /home/atguigu/banzhang.txt 得到结果 /home/atguigu

例：

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "----- 未进行传参 -----"
    exit
fi

for file in $@
do
    if [ -e $file ]
    then
        DIRNAME=`cd $(dirname ${file});pwd`
        BASENAME=`basename ${file}`
        USER=`whoami`
    
        for host in bigdata2 bigdata3
        do
            echo ----- 文件 $DIRNAME/$BASENAME 传输到${host} -----
            rsync -av ${DIRNAME}/${BASENAME} ${USER}@${host}:${DIRNAME}
        done
    else
        echo ----- ${file}文件不存在 -----
    fi
done

9.2 自定义函数

创建函数如下，通过函数名来调用该函数。

function 函数名() {
  [函数体]
  return  $num
}

NOTE：

①括号可以省略，但一定要换行。
②return可以省略，如果不省略那么最好放到函数体的最后，return后面的语句不会执行。如果不加return，将以最后一条命令运行结果作为返回值。
③return可以返回一个数字，若返回的数字是负数，则return语句时效；若返回的是整数，则?得到的是255。return不适合返回计算结果，一般用来返回语句的执行状态。

十、Shell工具

10.1 cut

将多行内容根据分隔符分成多个域（-d），并输出指定的域（-f）；或者直接根据字符位置截取并输出（-c）

• cut [选项] [filename]

说明：默认分隔符是制表符

选项	说明
-f	列号，提取第几列;
-d	分隔符，按照指定分隔符分割列;
-c	指定具体的字符;
--complement	提取指定字段之外的列

-f 和 -c 进行列或字符选择时，需要使用到数字含义

格式	说明
2,3	第2和第3
2-4	第2到第4
2-	第二及之后
-5	第五及之前

例1： ifconfig | grep "broadcast" | cut -f 10 -d " " （获取ip地址）

例2： ifconfig | grep "broadcast" | cut -c 63- （根据其所在的字符位置获取ip地址，但是不灵活，ip地址长度改变截取的内容不准确）

10.2 sed

根据筛选条件对文本进行增删改，但只能输出整行。

• sed [选项] [命令] [filename]

选项	说明
-e	直接在指令列模式上进行sed的动作编辑
-i	直接编辑源文件。如果不加-i，则没有对源文件进行修改
-n	-n "2p" 直接输出第二行 例：ifconfig|sed -n "2，4p" 输出2到4行

命令	说明
a	新增，a的后面可以接字串，在下一行出现
d	删除
s	查找并替换 ，加上g表示全局替换
/g	全局 global

格式	说明
2,5	第2到第5行(不同于cut中的2,5，同cut中的2-5)

例

ifconfig | sed  '2,5aXXX'   # 表示在第2到第5行下新建行插入XXX
ifconfig | sed  '2,5d'    # 表示删除第2到第5行
ifconfig | sed  '2,5s/1/x/'  # 表示分别查找第2行到第5行中的第一个1，然后替换成x
ifconfig | sed  '2,5s/1/\*/g'  # 表示分别查找第2行到第3行中的全部1，然后替换成*，*前最好转义符号。注意最后加上g（global）表示全局替换。
ifconfig | sed '2,5s/inet[6]* 172/Ip Address: 172/' # 正则表达式的应用，将inet 172和inet6 172替换成ip Address: 172

sed '/inet/d' sed.txt  # 删除sed.txt文件中所有包含inet的行
ifconfig | sed '/^e/,/^ *T/s/[0-9]/\*/g'  # 从e开始的行到许多空格和T开始的行之间的全部行的数字都替换成*
ifconfig | sed '2,20s/inet\([0-9]*\)/Ip\1 addr/'  # 将inet替换为Ip addr ，如果inet后有数字则保留。将要保留的部分括号括起来（括号要加转义字符），\1表示第一个正则式匹配到的字符，最多保留9个。
sed -i -e '2aXXX' -e '2,30s/\(i\)net\([0-9]*\)/\1p\2/' sed.txt  # 对源文件进行修改。

注意：单引号中的变量会被当作字符串。如果把单引号换成双引号，双引号中的变量是变量值。

10.3 awk

筛选并分隔行，通过awk语言来实现某些功能。可以进行计算和输出某个域的值。

• awk [选项] 'pattern1{action1} pattern2{action2}...' [filename]

pattern：表示AWK在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

选项	说明
-F	指定输入文件折分隔符
-v	赋值一个用户定义变量

函数	说明
BEGIN{}	在数据处理之前执行
END{}	在数据处理之后执行

格式	说明
$0	表示该行整行内容
$1...	表示域的内容

变量	说明
FILENAME	文件名
NR	已读的记录数，所处理的行号
NF	浏览记录的域的个数（切割后，列的个数）

例：

awk -F : 'BEGIN{sum=0} {sum+=$3;print $3" "sum } END{sum}' /etc/passwd    # 将passwd文件的所有行以：为分隔符分隔，再将第三个域累加。

awk -F : -v sum=0 '{sum+=$3;print $3" "sum} END{print sum}' passwd    # -v可以指定一个变量，替代BEGIN中的定义变量。

awk -F : 'BEGIN{sum=0}  /^a/{sum+=$4;print $4" "sum} END{print sum}'  passwd   # 筛选以a开头的行，以：为分隔符划分，将第四个域的值累加起来输出。

awk -F : 'BEGIN{sum=0;print FILENAME} /^a/{sum+=$3;print NR" "$3" "sum} END{print sum" "NF}' passwd     # NR表示所处理的行号（BEGIN行号为0，END行号为所有行数加一），NF表示分割出来的域的个数。FILENAME是当前文件名。

awk -F : '/inet[0-9]* addr/{print $2}' | awk -F " " 'NR==1,NR==2{print $1}'  # 可以通过NR来筛选出固定行号。

ls -al | awk -v user=root -v dirs="" '$3==user&&NF==9&&$9!="."&&$9!=".."{dirs=dirs" "$9} END{print dirs}'  # 查询目录下root用户的所有文件并输出。

10.4 sort

• sort [选项] [参数]

选项	说明
-n	依照数值的大小排序，不加-n按字符串大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列
-u	去重

参数：指定待排序的文件列表

例：

cat passwd | grep ^a | sort -t : -k 3 -n -r   # 将passwd中以a开头的行，以：为分隔符，取第三个域，按数值大小顺序倒序排序。

10.5 grep

按名称查找。

• grep [选项] [查找内容] [源文件]

选项	说明
-n	--line-number显示匹配行及行号
-r	--recursion递归查找当前目录及其子目录
-i	--ignore-case不区分大小写
-c	--count统计匹配的行数
-v	--revert-match #显示不包含匹配文本的所有行。

例：

grep -r "hello" xx  # 在xx文件中查找有hello的行
grep -r "shen" /home  # 在home目录及其子目录下查找有shen的行

十一、试题

①使用Linux命令查询sed.txt中空行所在的行号

awk '/^$/{print NR}' sed.txt

②有文件chengji.txt内容如下:

张三 40
李四 50
王五 60

使用Linux命令计算第二列的和并输出

cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'

# 得到：150

③Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#!/bin/bash

if [ -f file.txt ]; then
   echo "文件存在!"
else
   echo "文件不存在!"
fi

④用shell写一个脚本，对文本中无序的一列数字排序

sort -n test.txt|awk '{a+=$0;print $0}END{print "SUM="a}'

⑤请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen”的文件名称

grep -r "shen" /home | cut -d ":" -f 1