Shell扩展正则表达式（egrep、awk、sort、uniq、tr工具）

扩展正则表达式

扩展正则表达式元字符

扩展正则表达式是对基础正则表达式的扩充深化

+:匹配前面子表达式1次以上
例如：go+d，将匹配至少一个o（如god，good,goood...）

?：匹配前面子表达式0次或者1次
例如：go?d，将匹配gd或god

()：括号中的字符串作为一个整体
例如：(xyz)+,将匹配xyz整体1次以上，如xyzxyz

|：以或的方式匹配字条串
例如1：good|food，将匹配good或者food
例如2：g(oo|la)d,将匹配good或者glad
(g|f)ood  good或者food

egrep用法示例：

匹配o至少出现一次或者以上次数的内容

[root@server2 ~]# vi test.txt 
[root@server2 ~]# grep -n 'oo*' test.txt 
[root@server2 ~]# egrep -n 'o+' test.txt 

awk工具

awk是一个功能强大的编辑工具，默认以空格为分隔符进行分隔，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动配置任务。

命令格式：

• awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2
• awk -f 脚本文件 文件1 文件2

awk内建变量

FS:指定每行文本的字段分隔符，默认为空格或制表位。
NF:当前处理的行的字段个数。
NR:当前处理的行的行号（序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列）。
FILENAME:被处理的文件名。
RS:数据记录分隔，默认为\n，即每行为一条记录。

用法示例

按行输出文本

awk -F: 'NR==6{print $1,$7}' /etc/passwd   #输出第六行以：分隔的第1和第7字段
awk -F: '(NR==6)&&(NR==10){print $1,$7}' /etc/passwd   #输出第六到第十行以：分隔的第1和第7字段
awk -F: '(NR>=6)&&(NR<=10){print $1,$7}' /etc/passwd   #输出第六到第十行以：分隔的第1和第7字段
awk -F: '(NR==6)||(NR==10){print $1,$7}' /etc/passwd   #输出第六和第十行以：分隔的第1和第7字段
awk -F: '(NR%2)==1{print}' /etc/passwd | wc -l   #行号%2余数=1为奇数，统计奇数行数
awk -F: '(NR%2)==0{print}' /etc/passwd | wc -l   #行号%2余数=0为偶数，统计偶数行数
awk -F: '(NR%2)==0{print $1,$7}' /etc/passwd  #输出所有偶数行以：分隔的第1和第7字段
awk -F: '/^root/{print}' /etc/passwd    #输出所有以root开头的行
awk -F: '/^root/{print $0}' /etc/passwd    #输出所有以root开头的行
awk ‘/nologin$/{print}’ /etc/passwd    #输出以nologin结尾的行
awk ‘BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}’ /etc/passwd   #统计以/bin/bash结尾的行数，等同于grep –c “/bin/bash$” /etc/passwd
awk ‘BEGIN {RS=””};END {print NR}’ test.txt    #统计以空行分隔的文本段落数

按字段输出文本

awk ‘{print $3}’ test.txt      #输出每行中（以空格或制表符分隔）的第三个字段
awk ‘{print $1,$3}’ test.txt     #输出每行中第1，3个字段
awk -F: ‘$2==”！！”{print}’ /etc/shadow   #输出所有以：分隔的第2字段等于！！的，没密码的
awk -F: ‘$2==”！！”{print $1}’ /etc/shadow  #输出所有密码为空的第1字段用户名
awk 'BEGIN {FS=":"};$2=="! ! "{print} ' /etc/shadow  #输出密码为空的用户的shadow 记录
awk -F: ‘$7~”sh”{print $1}’ /etc/shadow   #输出以冒号分隔且第7个字段中包含sh的行的第一个字段；注:~表示当前用户的意思
awk '($1~"http")&&(NF==4){print $1}' /etc/services  #输出包含4个字段且第一个字段中包含http的行的第1个字段
awk -F: ‘($7!=“/bin/bash”)&&($7!=“/sbin/nologin”){print}’ /etc/passwd  #输出第七个字段既不为/bin/bash也不为/sbin/nologin的所有行

通过管道、双引号调用Shell命令

awk -F: '/ bash$/{print}' /etc/passwd l wc -l
awk -F: '/ bash$/{print | "wc -l"}' /etc/passwd
#调用wc –l命令统计使用bash的用户的个数，等同于grep –c “bash$” /etc/passwd
awk 'BEGIN {while ("w" l getline) n++; {print n-2}}'  #调用w命令，并用来统计在线用户数
awk ‘BEGIN {“hostname” | getline ; print $0}’     #调用hostname，并输出当前主机名

sort工具

语法格式

sort [选项] 参数

依据不同的数据类型进行排序

字符排序（默认）
数字排序

常用选项

-f: 忽略大小写
-b：忽略每行前面的空格
-M：按照月份进行排序
-n：按照数字进行排序
-r：反向排序
-u：等同于uniq，表示相同的数据仅显示一行
-t：指定分隔符，默认使用[Tab]键分隔
-o <输出文件>：将排序后的结果转存至指定文件
-k：指定排序区域

用法示例

• 将/etc/passwd文件中的账号进行排序（默认字符排序）

[root@server2 ~]# sort /etc/passwd
abrt:x:173:173::/etc/abrt:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
amandabackup:x:33:6:Amanda user:/var/lib/amanda:/bin/bash
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
chrony:x:994:990::/var/lib/chrony:/sbin/nologin
colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin
gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
laoliu:x:1004:1004::/home/laoliu:/bin/bash
libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
lisi:x:1002:1002::/home/lisi:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
ls:x:1036:1036::/home/ls:/bin/bash
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
ps:x:1037:1037::/home/ps:/bin/bash
pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin
setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

• 将/etc/passwd文件中第三列进行反向排序

[root@server2 ~]# sort -t ':' -rk 3 /etc/passwd
nobody:x:99:99:Nobody:/:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin
saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin
setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin
chrony:x:994:990::/var/lib/chrony:/sbin/nologin
geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin
sssd:x:992:987:User for sssd:/:/sbin/nologin
gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
amandabackup:x:33:6:Amanda user:/var/lib/amanda:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
ps:x:1037:1037::/home/ps:/bin/bash
ls:x:1036:1036::/home/ls:/bin/bash
zs:x:1035:1035::/home/zs:/bin/bash
stu30:x:1034:1034::/home/stu30:/bin/bash
stu29:x:1033:1033::/home/stu29:/bin/bash
stu28:x:1032:1032::/home/stu28:/bin/bash
stu27:x:1031:1031::/home/stu27:/bin/bash
stu26:x:1030:1030::/home/stu26:/bin/bash
stu25:x:1029:1029::/home/stu25:/bin/bash
stu24:x:1028:1028::/home/stu24:/bin/bash
stu23:x:1027:1027::/home/stu23:/bin/bash
stu22:x:1026:1026::/home/stu22:/bin/bash
stu21:x:1025:1025::/home/stu21:/bin/bash
stu20:x:1024:1024::/home/stu20:/bin/bash
stu19:x:1023:1023::/home/stu19:/bin/bash
stu18:x:1022:1022::/home/stu18:/bin/bash
stu17:x:1021:1021::/home/stu17:/bin/bash
stu16:x:1020:1020::/home/stu16:/bin/bash
stu15:x:1019:1019::/home/stu15:/bin/bash
stu14:x:1018:1018::/home/stu14:/bin/bash
stu13:x:1017:1017::/home/stu13:/bin/bash
stu12:x:1016:1016::/home/stu12:/bin/bash
stu11:x:1015:1015::/home/stu11:/bin/bash
stu10:x:1014:1014::/home/stu10:/bin/bash
stu9:x:1013:1013::/home/stu9:/bin/bash
stu8:x:1012:1012::/home/stu8:/bin/bash
stu7:x:1011:1011::/home/stu7:/bin/bash
stu6:x:1010:1010::/home/stu6:/bin/bash
stu5:x:1009:1009::/home/stu5:/bin/bash
stu4:x:1008:1008::/home/stu4:/bin/bash
stu3:x:1007:1007::/home/stu3:/bin/bash
stu2:x:1006:1006::/home/stu2:/bin/bash
stu1:x:1005:1005::/home/stu1:/bin/bash
laoliu:x:1004:1004::/home/laoliu:/bin/bash
wangwu:x:1003:1003::/home/wangwu:/bin/bash
lisi:x:1002:1002::/home/lisi:/bin/bash
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
zyt:x:1000:1000:zyt:/home/zyt:/bin/bash
root:x:0:0:root:/root:/bin/bash

uniq工具

uniq工具在Linux系统中通常与sort命令结合使用，用于报告或者忽略文件中的重复行

常用选项

• -c：进行计数；
• -d：仅显示重复行；
• -u：仅显示出现一次的行

用法示例

• 查看自动合并重复行
  
  
• 对重复行进行重复计数
  
• 只显示重复行
  

tr工具

tr命令常用来对来自标准输入的字符进行替换、压缩和删除

语法格式

tr [选项] [参数]

常用选项

• -c：取代所有不属于第一字符集的字符；
• -d：删除所有属于第一字符集的字符；
• -s：把连续重复的字符以单独一个字符表示；
• -t ：先删除第一字符集较第二字符集多出的字符，做替换

用法示例

• 将输入字符由大写转换为小写
  
• 压缩输入中重复的字符
  
• 删除字符串中某些字符
  
• 取代所有不属于第一字符集的字符