目录
前言
正则表达式对于系统管理员来说是非常重要的，熟练运用正则表达式可使工作变得更加简单、方便。
扩展正则表达式
扩展正则表达式是对基础正则表达式的扩充深化
1、扩展元字符及egrep用法示例
grep命令仅支持基础正则表达式，如果使用扩展正则表达式，需要使用egrep或awk命令
■ + ：匹配前面子表达式1次以上
例:
[ root@server2 ~]# egrep -n 'o+' test.txt
#文件检索出至少带有一个o的行并显示行号
■ ? ：匹配前面子表达式0次或者1次
例:
[ root@server2 ~]# egrep -n 'bes?t' test.txt
#文件检索出带有 ‘bet’ 或 ‘best’ 的行并显示行号
■ () ：将括号中的字符串作为一个整体
例:
[ root@server2 ~]# egrep -n '(oo)+' test.txt
#文件检索出至少带有连续oo或更多偶数oo的行并显示行号
■ | ：以或的方式匹配字条串
例:
[root@server2 ~]# egrep -n 'sh(o|i)rt’ test.txt
#文件检索出带有 ‘short’ 或 ‘shirt’ 的行并显示行号
2、awk工具
是一个功能强大的编辑工具，默认以空格为分隔符进行分隔，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动配置任务。
命令格式：
awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2 #过滤并输出文件中符合条件的内容
awk -f 脚本文件 文件1 文件2 #从脚本中调用编辑指令,过滤并输出内容
awk内建变量
FS:指定每行文本的字段分隔符，默认为空格或制表位。
NF:当前处理的行的字段个数。
NR:当前处理的行的行号（序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列）。
FILENAME:被处理的文件名。
RS:数据记录分隔，默认为\n，即每行为一条记录。
用法示例
2.1 按行输出文本
awk -F: 'NR==6{print $1,$7}' /etc/passwd #输出第六行以：分隔的第1和第7字段
awk -F: '(NR==6)&&(NR==10){print $1,$7}' /etc/passwd #输出第六到第十行以：分隔的第1和第7字段
awk -F: '(NR>=6)&&(NR<=10){print $1,$7}' /etc/passwd #输出第六到第十行以：分隔的第1和第7字段
awk -F: '(NR==6)||(NR==10){print $1,$7}' /etc/passwd #输出第六和第十行以：分隔的第1和第7字段
awk -F: '(NR%2)==1{print}' /etc/passwd | wc -l #行号%2余数=1为奇数，统计奇数行数
awk -F: '(NR%2)==0{print}' /etc/passwd | wc -l #行号%2余数=0为偶数，统计偶数行数
awk -F: '(NR%2)==0{print $1,$7}' /etc/passwd #输出所有偶数行以：分隔的第1和第7字段
awk -F: '/^root/{print}' /etc/passwd #输出所有以root开头的行
awk -F: '/^root/{print $0}' /etc/passwd #输出所有以root开头的行
awk ‘/nologin$/{print}’ /etc/passwd #输出以nologin结尾的行
awk ‘BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}’ /etc/passwd #统计以/bin/bash结尾的行数，等同于grep –c “/bin/bash$” /etc/passwd
awk ‘BEGIN {RS=””};END {print NR}’ test.txt #统计以空行分隔的文本段落数
2.2 按字段输出文本
awk ‘{print $3}’ test.txt #输出每行中（以空格或制表符分隔）的第三个字段
awk ‘{print $1,$3}’ test.txt #输出每行中第1，3个字段
awk -F: ‘$2==”！！”{print}’ /etc/shadow #输出所有以：分隔的第2字段等于！！的，没密码的
awk -F: ‘$2==”！！”{print $1}’ /etc/shadow #输出所有密码为空的第1字段用户名
awk 'BEGIN {FS=":"};$2=="! ! "{print} ' /etc/shadow #输出密码为空的用户的shadow 记录
awk -F: ‘$7~”sh”{print $1}’ /etc/shadow #输出以冒号分隔且第7个字段中包含sh的行的第一个字段；注:~表示当前用户的意思
awk '($1~"http")&&(NF==4){print $1}' /etc/services #输出包含4个字段且第一个字段中包含http的行的第1个字段
awk -F: ‘($7!=“/bin/bash”)&&($7!=“/sbin/nologin”){print}’ /etc/passwd #输出第七个字段既不为/bin/bash也不为/sbin/nologin的所有行
2.3 通过管道、双引号调用Shell命令
awk -F: '/ bash$/{print}' /etc/passwd l wc -l
awk -F: '/ bash$/{print | "wc -l"}' /etc/passwd
#调用wc –l命令统计使用bash的用户的个数，等同于grep –c “bash$” /etc/passwd
awk 'BEGIN {while ("w" l getline) n++; {print n-2}}' #调用w命令，并用来统计在线用户数
awk ‘BEGIN {“hostname” | getline ; print $0}’ #调用hostname，并输出当前主机名
3、sort工具
依据不同的数据类型进行排序
字符排序——默认
数字排序
语法格式
sort [选项] 参数
常用选项
用法示例
例1：将/etc/passwd 文件中的账号进行排序，默认是按首字母顺序排序
[root@localhost ~]# sort /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
lisi:x:1002:1002::/home/lisi:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
shi:x:1000:1000:shi:/home/shi:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
vuser:x:1003:1003::/opt/vuser:/sbin/nologin
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
例2：将/etc/passwd文件中第三列进行反向排序
[root@localhost ~]# sort -t ':' -rk 3 /etc/passwd
nobody:x:99:99:Nobody:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
vuser:x:1003:1003::/opt/vuser:/sbin/nologin
lisi:x:1002:1002::/home/lisi:/bin/bash
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
shi:x:1000:1000:shi:/home/shi:/bin/bash
root:x:0:0:root:/root:/bin/bash
4、uniq工具
uniq工具在Linux系统中通常与sort命令结合使用，用于报告或者忽略文件中的重复行
常用选项
-c：进行计数；
-d：仅显示重复行；
-u：仅显示出现一次的行
用法示例
项目用文档
[root@localhost ~]# vim xiangmu.txt
1
1
2
2
3
4
5
10
11
11
aaa
aaa
bb
nnnn
nnnn
1、把重复的行合并
[root@server2 ~]# uniq xiangmu.txt
1
2
3
4
5
10
11
aaa
bb
nnnn
2、重复行统计
[root@server2 ~]# uniq -c xiangmu.txt
2 1
2 2
1 3
1 4
1 5
1 10
2 11
2 aaa
1 bb
2 nnnn
3、只显示重复行
[root@server2 ~]# uniq -d xiangmu.txt
1
2
11
aaa
nnnn
5、tr工具
tr命令常用来对来自标准输入的字符进行替换、压缩和删除
语法格式
tr [选项] [参数]
常用选项
-c：取代所有不属于第一字符集的字符；
-d：删除所有属于第一字符集的字符；
-s：把连续重复的字符以单独一个字符表示；
-t ：先删除第一字符集较第二字符集多出的字符，做替换
用法示例
例1：将输入字符由大写转换为小写
[root@localhost ~]# echo "HELLO"|tr 'A-Z' 'a-z'
hello
例2：压缩输入中重复的字符
[root@localhost ~]# echo "thissss is a text linnnnnnne." | tr -s 'sn'
this is a text line.
例3：删除字符串中某些字符
[root@localhost ~]# echo 'hello world’ | tr -d 'od'
hell wrl
例4：取代所有不属于第一字符集的字符
[root@localhost ~]# echo abccabacca | tr -c ab 0
ab00aba00a0
例5：先删除第一字符集较第二字符集多出的字符，做替换
[root@localhost ~]# echo abcabc123 | tr -t 'abc' 'd'
dbcdbc123
[root@localhost ~]# echo abcabc123 | tr -t 'abc’ 'ttt'
tttttt123
[root@localhost ~]# echo abcabc123 | tr -t 'ab’ 'ttt'
ttcttc123
685
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
