文章预览：
正则表达式
一、基础正则表达式
正则表达式和通配符的区别：
- 正则表达式用来在文件中匹配符合条件的字符串，正则是包含匹配. grep、awk、sed等命令可以支持正则表达式。
- 通配符（ ？[]）是用来匹配符合条件的文件名*，通配符是完全匹配。ls、find、cp等命令不支持正则表达式，所有只能使用shell自己的通配符来进行匹配了。
| 元字符 | 作用 |
|---|---|
| * | 前一个字符匹配0次或者任意多次 |
| . | 匹配除了换行符外任意一个字符 |
| ^ | 匹配行首，例如：^hello会匹配以hello开头的行。 |
| $ | 匹配行首，例如：hello$会匹配以hello开头的行。 |
| [ ] | 匹配括号中指定的任意一个字符，只匹配一个字符 |
| [ ^] | 匹配除中括号的字符意外的任意一个字符。例如：[^0-9]匹配任意一个非数字字符。 |
| \ | 转义符。用于将特殊符号的含义取消 |
| {n} | 表示其前面的字符签好出现n次。例如：[0-9]{4}匹配4位数字，[1][3-8][0-9]{9} 匹配手机号码 |
| {n,} | 表示七千亩的字符出现不小于n次。例如：[0-9]{2,}表示两位及以上的数字 |
| {n,m} | 表示其前面的字符至少出现n次，最多出现m次。例如：[a-z]{6,8}匹配6到8为的小写子母。 |
范例：
grep "a*" test_rule.txt
#匹配所有内容，包括空白行
grep "aaaa*" test_rule.txt
#匹配最少包含三个连续a的字符串
grep "s..d" test_rule.txt
#匹配在s和d两个子母之间的有两个字符的单词
grep "s.*d" test_rule.txt
#匹配在s和d之间有任意字符的单词所在的行
grep "^M" test_rule.txt
#匹配以大写子母M开头的行
grep "n$" test_rule.txt
#匹配以小写n结尾的行
grep -n "^$" test_rule.txt
#匹配空白行
grep "^[a-z]" test_rule.txt
#匹配以小写子母开头的行
grep "\.$" test_rule.txt
#匹配以.结尾的行
二、字符截取命令
2.1 列截取命令 cut
语法：
cut [选项] [文件名]
-f 指定选取的列，多列以“,”隔开
-d 指定分隔符
**局限：**不能很好截取以多个空格作为分隔符的行。
[root@mysql sh]# cat student.txt
ID Name Gender Score
1 liming M 88
2 liuwei M 66
#提取第二、三列数据
[root@mysql sh]# cut -f 2,3 student.txt
Name Gender
liming M
liuwei M
#指定分隔符为“：”
[root@mysql sh]# cut -d ":" -f 2,3 /etc/passwd
x:0
x:1
x:2
x:3
x:4
2.2 格式化打印命令printf
语法：
printf '输出类型输出格式' 输出内容
%ns: 输出字符串。n是数字指代输出几个字符
%ni: 输出整数。n是数字指代输出几个数字
%m.nf:输出浮点数。m和n是数字，指代输出的整数位数和小数位数。如%8.2f代表输出8位数，其中2位是小数，6位是整数。
常用输出格式：
\n： 换行
\r： 回车
\t：水平输出退格键，也就是Tab键
范例：
[root@mysql sh]# printf '%s %s %s\n' 1 2 3 4 5 6
1 2 3
4 5 6
2.3 字符截取命令 awk
语法：
awk '条件1 {动作1} 条件2 {动作2} ……' 文件名
-
条件（Pattern）：
一般使用关系表达式作为条件
- x>10 判断变量x是否大于10
- x>=10 大于等于
- x<= 小于等于 -
动作（Action）
- 格式化输出
- 流程控制语句
范例：
以多个空格为分隔符的列表
[root@mysql ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/rhel-root 28G 4.3G 24G 16% /
devtmpfs 979M 0 979M 0% /dev
tmpfs 991M 0 991M 0% /dev/shm
tmpfs 991M 9.5M 981M 1% /run
tmpfs 991M 0 991M 0% /sys/fs/cgroup
/dev/sda1 497M 126M 372M 26% /boot
tmpfs 199M 0 199M 0% /run/user/0
awk 命令中“printf”命令不会自动换行，“print”命令可以自动换行。
[root@mysql ~]# df -h | awk '{printf $1 "\t" $5 "\t" $6 "\t\n"}'
Filesystem Use% Mounted
/dev/mapper/rhel-root 16% /
devtmpfs 0% /dev
tmpfs 0% /dev/shm
tmpfs 1% /run
tmpfs 0% /sys/fs/cgroup
/dev/sda1 26% /boot
tmpfs 0% /run/user/0
[root@mysql ~]# df -h | awk '{print $1 "\t" $3}'
Filesystem Used
/dev/mapper/rhel-root 4.3G
devtmpfs 0
tmpfs 0
tmpfs 9.6M
tmpfs 0
/dev/sda1 126M
tmpfs 0
[root@mysql ~]# df -h |grep sda1
/dev/sda1 497M 126M 372M 26% /boot
[root@mysql ~]# df -h |grep sda1 | awk '{printf $5}'
26%[root@mysql ~]# df -h |grep sda1 | awk '{printf $5 "\n"}'
26%
[root@mysql ~]# df -h |grep sda1 | awk '{printf $5 "\n"}' | cut -d "%" -f 1
26
BEGIN 命令:先执行期望打印内容之前的命令。
[root@mysql sh]# awk 'BEGIN {print "test!"} {print $2 "\t" $3}' student.txt
test!
Name Gender
liming M
liuwei M
FS内置变量
awk命令默认分割符为“空格”以及“制表符”，无法自动识别“：”
[root@mysql sh]# awk '{print $1 "\t" $3}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
awk 命令会先读取后处理，因此第一行数据没有分割
[root@mysql sh]# awk '{FS=":"} {print $1 "\t" $3}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin 1
daemon 2
添加BEGIN命令强制先处理
[root@mysql sh]# awk 'BEGIN{FS=":"} {print $1 "\t" $3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
END命令
[root@mysql sh]# awk 'END{print "The end"} {print $2 "\t" $3}' student.txt student.txt
Name Gender
liming M
liuwei M
The end
关系运算符 ：每行的数据先判断才会执行打印命令
[root@mysql sh]# cat student.txt |grep -v Name | awk '$4>=85 {print $2}'
liming
2.4 sed命令
sed是一种几乎包括在所以UNIX平台的轻量级流编辑器。sed主要是用来将数据进行选取、替换、删除、新增的命令。
语法：
[root@localhost ~]# sed [选项] '[动作]' 文件名
选项：
-n 一般sed命令会把所有数据都输出到屏幕，如果加入此选择，则只会把经过Sed命令处理的行输出到屏幕。
-e： 允许对输入数据应用多条sed命令编辑
-i： 用sed的修改结果直接修改读取数据的文件，而不是由屏幕输出
动作：
a \: （append）追加，在当前行后添加一行或多行。添加多行时，除最后一行外，每行末尾用“\”代表数据未完结。
c \: (change)行替换，用c后面的字符串替换原数据行，替换多行时，除最后一行外，每行末尾需用“\”代表数据未完结。
i \: (insert)插入，在当期行前插入一行或多行。插入多行时，除最后一行外，每行末尾需要用“\”代表数据未完结
d: (delete)删除，删除指定的行
p: (print)打印，输出指定的行
s： (substitute)字串替换。用一个字符串替换另外一个字符串。格式为“行范围s/旧字符/新字符/g” （和vim中的替换格式类似）
范例：
不加“-n“的话，除了输出第二行，所有数据都会输出一遍
[root@mysql sh]# sed '2p' student.txt
ID Name Gender Score
1 liming M 88
1 liming M 88
2 liuwei M 66
[root@mysql sh]# sed -n '2p' student.txt
1 liming M 88
sed命令可以对命令输出结果直接进行处理，vi命令只能处理文件
[root@mysql sh]# df -h | sed -n '2p'
/dev/mapper/rhel-root 28G 4.3G 24G 16% /
删除行，没有修改文件本身的内容，只是对输出进行了处理
[root@mysql sh]# sed '2,3d' student.txt
ID Name Gender Score
3 zhao M 90
插入行
[root@mysql sh]# sed '4i hello' student.txt
ID Name Gender Score
1 liming M 88
2 liuwei M 66
hello
3 zhao M 90
[root@mysql sh]# sed '3a hello \ world' student.txt #”\“表示没输入完
ID Name Gender Score
1 liming M 88
2 liuwei M 66
hello world
3 zhao M 90
行替换
[root@mysql sh]# sed '4c no such person' student.txt
ID Name Gender Score
1 liming M 88
2 liuwei M 66
no such person
字符串替换
[root@mysql sh]# sed '4s/90/95/g' student.txt
ID Name Gender Score
1 liming M 88
2 liuwei M 66
3 zhao M 95
三、字符处理命令
3.1排序命令 sort
格式：
[root@localhost ~]# sort [选项] 文件名
-f 忽略大小写
-n 以数值型进行排序，默认使用字符串型排序
-r 反向排序
-t 指定分隔符，默认是分隔符是制表符
-k n[,m]: 按照指定的字段范围排序。从第n字段开始，m字段结束（默认到行尾）
范例：
根据用户的”uid“（第三个字段）进行排序
[root@mysql sh]# sort -n -t ":" -k 3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
3.2 统计命令 wc
格式：
[root@localhost ~]# wc [选项] 文件名
-l: 只统计行数
-w： 只统计单词数
-m： 只统计字符数
范例：
[root@mysql sh]# wc /etc/passwd
20 28 876 /etc/passwd
# 20行 28个单词 876个字符
四、条件判断
4.1 根据文件类型进行判断
测试一个条件是否成立，常用的选项有三个
| 测试选项 | 作用 |
|---|---|
| -b 文件 | 判断该文件受否存在，并且是否为块设备文件（是块设备文件为真） |
| -c 文件 | 判断该文件受否存在，并且是否为字符设备文件（是字符设备文件为真） |
| -d 文件 | 判断该文件受否存在，并且是否为目录文件（是目录文件为真） |
| -e 文件 | 判断该文件受否存在（存在为真） |
| -f 文件 | 判断该文件受否存在，并且是否为普通文件（是普通文件为真） |
| -L 文件 | 判断该文件受否存在，并且是否为符号链接文件（是符号链接文件为真） |
| -p 文件 | 判断该文件受否存在，并且是否为管道文件（是管道文件为真） |
| -s 文件 | 判断该文件受否存在，并且是否为非空（非空为真） |
| -S 文件 | 判断该文件受否存在，并且是否为套接字（是套接字文件为真） |
两只判别格式范例：
[root@mysql sh]# test -e student.txt
[root@mysql sh]# echo $? #查看上一条命令是否执行正确
0
[root@mysql sh]# [ -e student.txt ]
[root@mysql sh]# echo $?
0
#第一条判断命令如果正确执行，打印”yes",否则打印”no“
[root@mysql sh]# [ -e studnt.txt ] && echo "Yes" ||echo "No"
No
[root@mysql sh]# [ -e student.txt ] && echo "Yes"||echo "No"
Yes
4.2按照文件权限进行判断
| 测试选项 | 作用 |
|---|---|
| -r 文件 | 判断该文件受否存在，并且是否该文件有读权限（有读权限为真） |
| -w 文件 | 判断该文件受否存在，并且是否该文件有写权限（有写权限为真） |
| -x 文件 | 判断该文件受否存在，并且是否该文件执行权限（有执行权限为真） |
| -u 文件 | 判断该文件受否存在，并且是否该文件有SUID权限（有SUID权限为真） |
| -g 文件 | 判断该文件受否存在，并且是否该文件有SGID权限（有SGID权限为真） |
| -k 文件 | 判断该文件受否存在，并且是否该文件有SBit权限（有SBit权限为真） |
范例：
[root@mysql sh]# [ -w student.txt ] && echo "yes" ||echo "no"
yes
4.3两个文件进行比较判断
| 测试选项 | 作用 |
|---|---|
文件1 -nt 文件2 | 判断文件1的修改时间是否比文件2的新（如果新则为真）newer than |
文件1 -ot 文件2 | 判断文件1的修改时间是否比文件2的旧（如果旧则为真） older than |
文件1 -ef 文件2 | 判断文件1是否和文件2的Inode号（i节点）一致，可以理解为两个文件是否为同一个文件。这个判断用于判断硬链接 equal file |
范例：
ln /tmp/sh/student.txt /tmp/stu.txt #创建硬链接
[root@mysql sh]# [ /tmp/stu.txt -ef /tmp/sh/student.txt ] && echo "yes" || echo "no"
yes
[root@mysql sh]# ls -i /tmp/stu.txt #查看文件i节点
17187280 /tmp/stu.txt
[root@mysql sh]# ls -i /tmp/sh/student.txt
17187280 /tmp/sh/student.txt
4.4 两个整数进行比较
| 测试选项 | 作用 |
|---|---|
| 整数1 -eq 整数2 | 判断整数1是否和整数2相等（相等为真）equal |
| 整数1 -ne 整数2 | 判断整数1是否和整数2不相等（不相等为真）not equal |
| 文件1 -gt 文件2 | 判断整数1是否大于整数2（大于为真） |
| 文件1 -lt 文件2 | 判断整数1是否小于整数2（小于为真） |
| 文件1 -ge 文件2 | 判断整数1是否大于等于整数2（大于等于为真） |
| 文件1 -le 文件2 | 判断整数1是否小于等于整数2（小于等于为真） |
范例：
[root@mysql sh]# [ 23 -le 30 ] && echo "yes" || echo "no"
yes
4.5 字符串的判断
| 测试选项 | 作用 |
|---|---|
| -e 字符串 | 判断字符串是否为空（为空返回真） |
| -n 字符串 | 判断字符串是否为非空（非空返回真） |
| 字符串1 == 字符串2 | 判断字符串1是否和字符串2相等（相等返回真） |
| 字符串1 != 字符串2 | 判断字符串1是否和字符串2不相等（不相等返回真） |
范例：
[root@mysql sh]# [ -z "$name" ] && echo "yes" || echo "no"
no
[root@mysql sh]# [ "$aa" == "$bb" ] && echo "yes" || echo "no" ##”==“两边要加空格否则全判断为真
no
4.6 多重条件判断
| 测试选项 | 作用 |
|---|---|
| 判断1 -a 判断2 | 逻辑与，判断1和判断2都成立，最终的结果才为真 |
| 判断1 -o 判断2 | 逻辑或，判断1和判断2有一个成立，最终的结果才为真 |
| ！ 判断 | 逻辑非，使原始的判断式取反 |
五、流程控制
5.1 if语句
单分支if 语句格式：
if [ 条件判断式 ] ； then
程序
fi
或者
if [条件判断式]
then
程序
fi
判断分区使用率范例：
#脚本内容
[root@mysql ~]# more /tmp/sh/if_test.sh
#!/bin/bash
#统计根分区使用率
rate=$(df -h | grep "/dev/sda1" | awk '{print $5}' | cut -d "%" -f1)
#把根分区使用率作为变量值赋给rete
if [ $rate -le 80 ]
then
echo "$rate" "Warning /dev/sda3 isn't full!!"
#脚本运行结果
[root@mysql ~]# /tmp/sh/if_test.sh
26 Warning /dev/sda3 isn't full!!
双分支if语句格式：
if [ 条件判断式 ]
then
条件成立时，执行的程序
else
条件不成立时，执行的另一个程序
fi
备份范例：
[root@mysql sh]# cat -n if_test2.sh
1 #!/bin/bash
2
3 date=$(date +%y%m%d)
4 size=$(du -sh /tmp)
5
6 if [ -d /tmp/dbback ]
7 then
8 echo "Date is : $date" > /tmp/dbback/db.txt
9 echo "Size is : $size" >> /tmp/dbback/db.txt
10 tar -zcf tmp_$date.tar.gz /tmp &> /dev/null
11 rm -rf /tmp/dbback/db.txt
12 else
13 madir /tmp/dbback
14
15 echo "Date is : $date" > /tmp/dbback/db.txt
16 echo "Size is : $size" >> /tmp/dbback/db.txt
17 tar -zcf tmp_$date.tar.gz /tmp &> /dev/null
18 rm -rf /tmp/dbback/db.txt
19 fi
范例2 ：判断apache是否启动
[root@mysql sh]# more if_test3.sh
#!/bin/bash
port=$(nmap -sT 192.168.160.10 | grep tcp | grep httpd | awk '{print $2}')
#使用nmap命令扫描服务器并截取apache状态，赋值给变量port
if [ "$port" == "open" ]
then
echo "$(date) httpd is ok!" >> /tmp/autostart_acc.log
else
/etc/rc.d/init.d/httpd_start &> /dev/null
echo "$(date) restart httpd!!" >> /tmp/autostart_acc.log
fi
多分支if语句格式：
if [ 条件判断式1 ]
then
当条件判断式1成立时，执行程序1
elif [ 条件判断式2 ]
then
当条件判断式2成立时，执行程序2
……省略更多条件
else
当所有条件都不成立时，最后执行此程序
fi
文件类型判断范例：
[root@mysql sh]# cat -n if_test4.sh
1 #!/bin/bash
2
3 read -p "Please input a filename :" file
4 #接收键盘的输入，并赋值给file
5
6 if [ -z "$file"]
7 #判断file是否为空
8 then
9 echo "Erro please input a filename"
10 exit 1
11 elif [ ! -e "$file" ]
12 #判断file的值是否存在
13 then
14 echo "Your put is not a file"
15 exit 2
16 elif [ -f "$file" ]
17 #判断file的值是否为普通文件
18 then
19 echo "file is a regulare file"
20 elif [ -d "$file" ]
21 #判断file是否为目录文件
22 then
23 echo "file is a directory"
24 else
25 echo "file is another file!"
26 fi
5.2 case语句
case语句只能匹配一种条件语句，if语句可以匹配多种条件语句。
格式：
case $变量名 in
"值1"）
如果变量的值等于值1，则执行程序1
；；
"值2"）
如果变量的值等于值2，则执行程序2
；；
*）
如果变量的值都不是以上的值，则执行此程序
；；
esac
范例：
[root@mysql sh]# cat -n /tmp/sh/case.sh
1 #!/bin/bash
2
3
4 read -p "Please choose yes/no " -t 30 cho
5 case $cho in
6 "yes")
7 echo "your choice is yes!"
8 ;;
9 "no")
10 echo "your choice is no!"
11 ;;
12 *)
13 echo "your choice is error!"
14 ;;
15 esac
5.3 for 循环
语法1：
for 变量 in 值1 值2 值3……
do
程序
done
范例：
[root@mysql sh]# cat -n /tmp/sh/for2.sh
1 #!/bin/bash
2 #批量解压缩脚本
3
4 cd /lamp
5 ls *.tar.gz > ls.log
6 for i in $(cat ls.log)
7 do
8 tar -zxf $i &> /dev/null
9 done
10 rm -rf /lamp/ls.log
语法2：
for ((初始值；循环控制变量；变量变化))
do
程序
done
范例：
[root@mysql sh]# cat -n /tmp/sh/for3.sh
1 #!/bin/bash
2 #计算从1加到100
3
4 s=0
5 for ((i=1;i<=100;i=i+1))
6 do
7 s=$(( $s+$i ))
8 done
9 echo "The sum of 1+2+3+…… is: $s"
[root@mysql sh]# cat -n /tmp/sh/for4.sh
1 #!/bin/bash
2 #批量添加用户
3
4 read -p "Please input the username:" name
5
6 read -p "Please input the number of users:" num
7
8 read -p "Please input the password of users:" pass
9 if [ ! -z "$name" -a ! -z "$num" -a ! -z "$pass" ]
10 #判断三个输入是否都不为空
11 then
12 y=$(echo $num | sed 's/^[0-9]*$'//g)
13 #将以数字开头以任意字符结尾的num替换为空
14 if [ -z "$y" ]
15 then
16 for ((i=1;i<=num;i=i+1))
17 do
18 /usr/sbin/useradd $name$i &> /dev/null
19 echo $pass | usr/bin/passwd --stdin “$name$i” &>/dev/null
20 #stdin重定向输入，管道符接收前面指令结果作为后面指令的输入
21 done
22 fi
23 fi
5.4 while循环与until循环
while 循环时不定循环，也称作条件循环。只要条件判断式成立，循环就会一直继续，直到条件判断式不成立，循环才会停止。这就和for的固定循环不太一样了。
语法：
while [ 条件判别式 ]
do
程序
done
范例：
[root@mysql sh]# cat -n /tmp/sh/while.sh
1 #!/bin/bash
2 #计算1到100的和
3
4 s=o
5 i=1
6 while [ $i -le 100 ]
7 do
8 s=$(( $s+$i ))
9 i=$(( $i+1 ))
10 done
11 echo "The sum is : $s"
until 循环，和while循环相反，until循环时只要条件判断式不成立则进行循环，并执行循环程序。一旦循环条件成立，则终止循环。
范例：
[root@mysql sh]# cat -n /tmp/sh/until.sh
1 #!/bin/bash
2
3 s=0
4 i=1
5 until [ $i -gt 100 ]
6 #循环直到变量i的值大于100
7 do
8 s=$(( $s+$i ))
9 i=$(( $i+1 ))
10 done
11 echo "The sum is :$s"
274
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
