一、Shell概述
Shell是命令行解释器,用来逐句解释并执行shell语句,调用操作系统的内核。
二、Shell解析器
-
Linux提供的Shell解析器有
[root@VM-0-13-centos ~]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash /usr/sbin/nologin /bin/tcsh /bin/csh
-
sh是bash的一个软连接
[root@VM-0-13-centos bin]# ll | grep bash -rwxr-xr-x 1 root root 964536 Apr 1 2020 bash lrwxrwxrwx 1 root root 10 Aug 7 2020 bashbug -> bashbug-64 -rwxr-xr-x 1 root root 6964 Apr 1 2020 bashbug-64 lrwxrwxrwx 1 root root 4 Aug 7 2020 sh -> bash
-
Centos默认的解析器是bash
[root@VM-0-13-centos bin]# echo $SHELL /bin/bash
三、Shell脚本执行
Cent os通过软链接/bin/sh来调用/bin/bash解释器,是红帽系下的一个系统分支。/sbin/nologin是未登录情况下的解释器,COKEMV影视用于远程控制未登录的账户,ssh hadoop103 ‘ls’。
执行脚本的三种方法
①采用输入脚本的绝对路径或相对路径执行脚本(脚本以#!/bin/bash开头指定解析器,必须具有可执行权限+x)
②采用bash或sh+脚本的相对路径或绝对路径(不用赋予脚本+x权限)
③使用 source test.sh 或 . test.sh 的方式执行,可以使脚本内容在当前shell里执行,而无需打开子shell。因此可以在原shell下读到脚本中定义的变量(不用赋予脚本+x权限)
④放到bash和sh所在的文件夹(/bin)下,则在别处可以直接运行脚本。/home/hxr/bin目录下实现全局使用,将xsync移动到/usr/local/bin也可以。
NOTE:执行时调用bash解释器执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限。第二种自执行方法,本质是脚本需要自己执行,所以需要执行权限。
shell的子进程和变量的作用范围
① ./*.sh sh ./*.sh 或 bash ./*.sh 三种执行脚本的方式都是重启一个子shell,在子shell中执行此脚本,每个脚本在各自的子进程中执行。
② source ./*.sh 和 . ./*.sh的执行方式是等价的,两种执行方式都是在当前shell进程中执行,而不是重启子shell进程。
Shell语句只有一种变量:字符串,作用域为当前的shell下,每个shell终端下就是不同的shell域,一个shell就是一个进程。
单敲bash就创建一个子shell,再敲exit返回原shell。可以通过ps -ef查看子shell的父shell进程。如果需要变量a的作用域递归扩展到其子shell中,需要在变量前添加export,如export a=hello。
四、Shell的变量
Shell语句只有一种变量:字符串
4.1 系统变量
常用系统变量: $HOME、$PWD、$SHELL、$USER
显示当前Shell中所有变量: set
4.2 自定义变量
- 基本语法
- 定义变量:变量=值
- 撤销变量:unset 变量
- 声明静态变量:readonly 变量=值 (注意:不能修改,不能unset)
- 变量定义规则
- 变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。
- 等号两侧不能有空格
- 在bash中,变量默认类型都是字符串类型,无法直接进行数值运算。
- 变量的值如果有空格,需要使用双引号或单引号括起来。
- 变量提升为全局环境变量
- export a 会将a的作用域递归扩展到其子shell中;
- 或直接export A=值 直接将A定义为全局变量。
-
Linux引用系统变量前加%
Windows用于系统变量前后都加%
4.3 变量加载
系统变量:/etc/profile
用户变量:~/.bash_profile | ~/.bash_login | ~/.profile /etc/profile.d/*
login 和 non-login shell
login方式加载顺序:etc/profile -> ~/.bash_profile | ~/.bash_login | ~/.profile(加载时,按照上述顺序进行加载,只要加载到一个文件就停止加载)
non-login方式加载顺序:不会加载 etc/profile,会加载~/.bashrc和profile.d文件夹下的脚本。
4.3 特殊变量:$n
- $n (功能描述:n为数字,$0代表该脚本名称,$1-$9代表第一到第九个参数,,十以上的参数需要用大括号包含,如${10})
4.4 特殊变量:$#
- $# (功能描述:获取所有输入参数个数,常用于循环)
4.5 特殊变量:$*、$@
- $* (功能描述:这个变量代表命令行中所有的参数,$*把所有的参数看成一个整体)
- $@ (功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)
代表命令行中所有的参数。可用于for循环遍历命令行参数,$*和$@都表示传递给函数或脚本的所有参数,不被双引号" "包含时,都以$1 $2 …$n的形式输出所有参数。都被双引号包含时,$*代表一个整体,遍历就输出一个字符串。$@把参数区分对待,遍历可以输出每个命令行参数。
4.6 特殊变量:$?
- $? (功能描述:最后一次执行的命令的返回状态。变量的值为0,证明上一个命令正确执行;变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
五、运算符
-
"[运算式]" (最常用$[ 运算式 ])
例:S=$[(2+3)*4] 通过echo S 打印得到20
-
expr + , - , \*, /, % 加,减,乘,除,取余
注意:expr运算符间要有空格
例:
expr 3 \* 2 打印得到6 expr `expr 2 + 3` \* 4 打印得到20
六、条件判断
-
基本语法
[ condition ] (注意condition前后要有空格)
注意:条件非空即为true,[ hxr ]返回true,[] 返回false;[ !hxr ]返回false,[!] 返回true。
-
常用判断条件
-z判断字符串是否为空串
取反 if !(test -z $files )
(1)两个整数之间比较
= 字符串比较
-lt 小于(less than) -le 小于等于(less equal)
-eq 等于(equal) -gt 大于(greater than)
-ge 大于等于(greater equal) -ne 不等于(Not equal)
(2)按照文件权限进行判断
-r 有读的权限(read) -w 有写的权限(write)
-x 有执行的权限(execute)
(3)按照文件类型进行判断
-f 文件存在并且是一个常规的文件(file)
-e 文件存在(existence) -d 文件存在并是一个目录(directory)
-n “$1” 判断字符串是否为空
或直接if [ $1 ] 如果未传参,则为false。
-
多条件判断
[ condition ] && [ condition ] 与
[ condition ] || [ condition ] 或
七、流程控制
程序执行后会返回执行状态码:0表示正常执行,1表示没有执行完。$?返回上一次执行状态。
也可以判断上条语句的判断是是否是true(true返回0),false(false返回1)。
7.1 if 判断
if [ 条件判断 ]
then
[程序]
elif [ 条件判断 ]
[程序]
else
[程序]
fi
注意事项:
(1)[ 条件判断式 ],中括号和条件判断式之间必须有空格;
(2)if后要有空格;
(3)Shell中语句以;或换行为结束 if [] ; then 或 if[] /n then 。
7.2 case 语句
case $1 in
"字符串")
程序
;;
"字符串")
程序
;;
"*")
程序
;;
esac
Shell中的case语言每个分支以;;结尾,不会像java一样不写break有雪崩。
7.3 for 循环
- 基本语法1
for (( 初始值;循环控制条件;变量变化 ))
do
程序
done
- 基本语法2(遍历,类似java中的增强for)
{109...100}表示109到100的所有数
for 变量 in 值1 值2 值3…
do
程序
done
for循环遍历命令行参数
$* 和 $@ 都表示传递给函数或脚本的所有参数,不被双引号“”包含时,都以2 …*代表一个整体,遍历就输出一个字符串。$@把参数区分对待,可以输出每个命令行参数。
7.4 while 循环
while [ 条件判断式 ]
do
程序
done
八、read读取控制台输入
当执行到这句话时,系统就会等待用户输入参数的值,并将用户输入的值赋给参数。
- read(选项)(参数)
选项 | 说明 |
---|---|
-p | 指定读取值时的提示符; |
-t | 指定读取值时等待的时间(秒); |
参数是指定读取值的变量名。
例:
#!/bin/bash
// 提示7秒内,读取控制台输入的名称
read -t 7 -p "Enter your name in 7 seconds " NAME
echo $NAME
写入到文件
cat <<EOF > test.sh
DEVICE=eth0
TYPE=Ethernet
EOF
向test.sh文件中写入内容,直到输入EOF才结束。
九、函数
9.1 系统函数
basename
basename [string / pathname] [suffix] 得到最后一个/后面的字符串,如果指定了suffix且字符串以suffix结尾,会将suffix的内容从结果中去掉。
例:basename /home/atguigu/banzhang.txt .txt 得到结果 banzhang
dirname
dirname [string / pathname] 得到最后一个/前面的字符串
例:dirname /home/atguigu/banzhang.txt 得到结果 /home/atguigu
例:
#!/bin/bash
if [ $# -lt 1 ]
then
echo "----- 未进行传参 -----"
exit
fi
for file in $@
do
if [ -e $file ]
then
DIRNAME=`cd $(dirname ${file});pwd`
BASENAME=`basename ${file}`
USER=`whoami`
for host in bigdata2 bigdata3
do
echo ----- 文件 $DIRNAME/$BASENAME 传输到${host} -----
rsync -av ${DIRNAME}/${BASENAME} ${USER}@${host}:${DIRNAME}
done
else
echo ----- ${file}文件不存在 -----
fi
done
9.2 自定义函数
创建函数如下,通过函数名来调用该函数。
function 函数名() {
[函数体]
return $num
}
NOTE:
①括号可以省略,但一定要换行。
②return可以省略,如果不省略那么最好放到函数体的最后,return后面的语句不会执行。如果不加return,将以最后一条命令运行结果作为返回值。
③return可以返回一个数字,若返回的数字是负数,则return语句时效;若返回的是整数,则?得到的是255。return不适合返回计算结果,一般用来返回语句的执行状态。
十、Shell工具
10.1 cut
将多行内容根据分隔符分成多个域(-d),并输出指定的域(-f);或者直接根据字符位置截取并输出(-c)
- cut [选项] [filename]
说明:默认分隔符是制表符
选项 | 说明 |
---|---|
-f | 列号,提取第几列; |
-d | 分隔符,按照指定分隔符分割列; |
-c | 指定具体的字符; |
--complement | 提取指定字段之外的列 |
-f 和 -c 进行列或字符选择时,需要使用到数字含义
格式 | 说明 |
---|---|
2,3 | 第2和第3 |
2-4 | 第2到第4 |
2- | 第二及之后 |
-5 | 第五及之前 |
例1: ifconfig | grep "broadcast" | cut -f 10 -d " " (获取ip地址)
例2: ifconfig | grep "broadcast" | cut -c 63- (根据其所在的字符位置获取ip地址,但是不灵活,ip地址长度改变截取的内容不准确)
10.2 sed
根据筛选条件对文本进行增删改,但只能输出整行。
- sed [选项] [命令] [filename]
选项 | 说明 |
---|---|
-e | 直接在指令列模式上进行sed的动作编辑 |
-i | 直接编辑源文件。如果不加-i,则没有对源文件进行修改 |
-n | -n "2p" 直接输出第二行 例:ifconfig|sed -n "2,4p" 输出2到4行 |
命令 | 说明 |
---|---|
a | 新增,a的后面可以接字串,在下一行出现 |
d | 删除 |
s | 查找并替换 ,加上g表示全局替换 |
/g | 全局 global |
格式 | 说明 |
---|---|
2,5 | 第2到第5行(不同于cut中的2,5,同cut中的2-5) |
例
ifconfig | sed '2,5aXXX' # 表示在第2到第5行下新建行插入XXX
ifconfig | sed '2,5d' # 表示删除第2到第5行
ifconfig | sed '2,5s/1/x/' # 表示分别查找第2行到第5行中的第一个1,然后替换成x
ifconfig | sed '2,5s/1/\*/g' # 表示分别查找第2行到第3行中的全部1,然后替换成*,*前最好转义符号。注意最后加上g(global)表示全局替换。
ifconfig | sed '2,5s/inet[6]* 172/Ip Address: 172/' # 正则表达式的应用,将inet 172和inet6 172替换成ip Address: 172
sed '/inet/d' sed.txt # 删除sed.txt文件中所有包含inet的行
ifconfig | sed '/^e/,/^ *T/s/[0-9]/\*/g' # 从e开始的行到许多空格和T开始的行之间的全部行的数字都替换成*
ifconfig | sed '2,20s/inet\([0-9]*\)/Ip\1 addr/' # 将inet替换为Ip addr ,如果inet后有数字则保留。将要保留的部分括号括起来(括号要加转义字符),\1表示第一个正则式匹配到的字符,最多保留9个。
sed -i -e '2aXXX' -e '2,30s/\(i\)net\([0-9]*\)/\1p\2/' sed.txt # 对源文件进行修改。
注意:单引号中的变量会被当作字符串。如果把单引号换成双引号,双引号中的变量是变量值。
10.3 awk
筛选并分隔行,通过awk语言来实现某些功能。可以进行计算和输出某个域的值。
- awk [选项] 'pattern1{action1} pattern2{action2}...' [filename]
pattern:表示AWK在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
选项 | 说明 |
---|---|
-F | 指定输入文件折分隔符 |
-v | 赋值一个用户定义变量 |
函数 | 说明 |
---|---|
BEGIN{} | 在数据处理之前执行 |
END{} | 在数据处理之后执行 |
格式 | 说明 |
---|---|
$0 | 表示该行整行内容 |
$1... | 表示域的内容 |
变量 | 说明 |
---|---|
FILENAME | 文件名 |
NR | 已读的记录数,所处理的行号 |
NF | 浏览记录的域的个数(切割后,列的个数) |
例:
awk -F : 'BEGIN{sum=0} {sum+=$3;print $3" "sum } END{sum}' /etc/passwd # 将passwd文件的所有行以:为分隔符分隔,再将第三个域累加。
awk -F : -v sum=0 '{sum+=$3;print $3" "sum} END{print sum}' passwd # -v可以指定一个变量,替代BEGIN中的定义变量。
awk -F : 'BEGIN{sum=0} /^a/{sum+=$4;print $4" "sum} END{print sum}' passwd # 筛选以a开头的行,以:为分隔符划分,将第四个域的值累加起来输出。
awk -F : 'BEGIN{sum=0;print FILENAME} /^a/{sum+=$3;print NR" "$3" "sum} END{print sum" "NF}' passwd # NR表示所处理的行号(BEGIN行号为0,END行号为所有行数加一),NF表示分割出来的域的个数。FILENAME是当前文件名。
awk -F : '/inet[0-9]* addr/{print $2}' | awk -F " " 'NR==1,NR==2{print $1}' # 可以通过NR来筛选出固定行号。
ls -al | awk -v user=root -v dirs="" '$3==user&&NF==9&&$9!="."&&$9!=".."{dirs=dirs" "$9} END{print dirs}' # 查询目录下root用户的所有文件并输出。
10.4 sort
- sort [选项] [参数]
选项 | 说明 |
---|---|
-n | 依照数值的大小排序,不加-n按字符串大小排序 |
-r | 以相反的顺序来排序 |
-t | 设置排序时所用的分隔字符 |
-k | 指定需要排序的列 |
-u | 去重 |
参数:指定待排序的文件列表
例:
cat passwd | grep ^a | sort -t : -k 3 -n -r # 将passwd中以a开头的行,以:为分隔符,取第三个域,按数值大小顺序倒序排序。
10.5 grep
按名称查找。
- grep [选项] [查找内容] [源文件]
选项 | 说明 |
---|---|
-n | --line-number显示匹配行及行号 |
-r | --recursion递归查找当前目录及其子目录 |
-i | --ignore-case不区分大小写 |
-c | --count统计匹配的行数 |
-v | --revert-match #显示不包含匹配文本的所有行。 |
例:
grep -r "hello" xx # 在xx文件中查找有hello的行
grep -r "shen" /home # 在home目录及其子目录下查找有shen的行
十一、试题
①使用Linux命令查询sed.txt中空行所在的行号
awk '/^$/{print NR}' sed.txt
②有文件chengji.txt内容如下:
张三 40
李四 50
王五 60
使用Linux命令计算第二列的和并输出
cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'
# 得到:150
③Shell脚本里如何检查一个文件是否存在?如果不存在该如何处理?
#!/bin/bash
if [ -f file.txt ]; then
echo "文件存在!"
else
echo "文件不存在!"
fi
④用shell写一个脚本,对文本中无序的一列数字排序
sort -n test.txt|awk '{a+=$0;print $0}END{print "SUM="a}'
⑤请用shell脚本写出查找当前文件夹(/home)下所有的文本文件内容中包含有字符”shen”的文件名称
grep -r "shen" /home | cut -d ":" -f 1