shell正则表达式

目录

 一、sort命令

二、sort 对内容进行升序排序

常用选项

三、uniq 对连续的重复行进行去重

常用选项

四、tr 对输入的内容进行替换

常用选项

五、对数组排序

六、cut 对行内容进行字段截取

常用选项

七、字符串分片

八、split 按照格式拆分文件

常用选项

---

 一、sort命令

它是以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序·

比较原则是从首字母字符向后，依次按ASCII码进行比较，最后将他们按升序输出

二、sort 对内容进行升序排序

XXX | sort 选项      sort 选项 文件

常用选项

-n	按照数字进行排序
-r	反向排序
-u	等同于uniq，表述相同的数据仅显示一行
-t	指定字段分隔符，默认使用[Tab]键分隔
-k	指定排序字段
-o<输出文件>	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

反向排序

[root@localhost opt]# du -a /var/log | sort -nr
5352    /var/log
3048    /var/log/anaconda
2016    /var/log/anaconda/journal.log
704     /var/log/audit/audit.log
704     /var/log/audit
596     /var/log/anaconda/packaging.log
416     /var/log/messages-20240518
352     /var/log/sa
248     /var/log/anaconda/syslog
132     /var/log/messages-20240519
128     /var/log/sa/sa19
124     /var/log/sa/sa18
124     /var/log/dmesg.old
124     /var/log/dmesg
100     /var/log/sa/sar18
96      /var/log/gdm
92      /var/log/anaconda/storage.log
68      /var/log/Xorg.0.log.old
56      /var/log/gdm/:0.log.1
48      /var/log/Xorg.0.log
48      /var/log/lastlog
40      /var/log/gdm/:0.log
32      /var/log/anaconda/X.log
32      /var/log/anaconda/program.log
28      /var/log/boot.log-20240518
28      /var/log/anaconda/anaconda.log
24      /var/log/Xorg.9.log
16      /var/log/tallylog
8       /var/log/wtmp
8       /var/log/vmware-vmsvc-root.log
8       /var/log/vmware-network.log
8       /var/log/secure-20240519
8       /var/log/secure-20240518
8       /var/log/cups
8       /var/log/cron-20240519
4       /var/log/yum.log
4       /var/log/wpa_supplicant.log
4       /var/log/vmware-vmusr-root.log
4       /var/log/vmware-vmtoolsd-root.log
4       /var/log/vmware-vgauthsvc.log.0
4       /var/log/vmware-network.3.log
4       /var/log/vmware-network.2.log
4       /var/log/vmware-network.1.log
4       /var/log/tuned/tuned.log
4       /var/log/tuned
4       /var/log/messages
4       /var/log/maillog-20240518
4       /var/log/grubby_prune_debug
4       /var/log/firewalld
4       /var/log/cups/access_log-20240519
4       /var/log/cups/access_log-20240518
4       /var/log/cron-20240518
4       /var/log/cron
4       /var/log/btmp
4       /var/log/anaconda/ifcfg.log
0       /var/log/xferlog-20240519
0       /var/log/xferlog
0       /var/log/swtpm/libvirt/qemu
0       /var/log/swtpm/libvirt
0       /var/log/swtpm
0       /var/log/sssd
0       /var/log/spooler-20240519
0       /var/log/spooler-20240518
0       /var/log/spooler
0       /var/log/speech-dispatcher
0       /var/log/secure
0       /var/log/samba/old
0       /var/log/samba
0       /var/log/rhsm
0       /var/log/qemu-ga
0       /var/log/ppp
0       /var/log/pluto/peer
0       /var/log/pluto
0       /var/log/ntpstats
0       /var/log/maillog-20240519
0       /var/log/maillog
0       /var/log/libvirt/qemu
0       /var/log/libvirt
0       /var/log/glusterfs
0       /var/log/gdm/:0-greeter.log.1
0       /var/log/gdm/:0-greeter.log
0       /var/log/cups/page_log
0       /var/log/cups/error_log
0       /var/log/cups/access_log

前五行

反之就是后五行

三、uniq 对连续的重复行进行去重

uniq命令---用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用

语法格式：
uniq [选项] 参数
cat file | uniq 选项

XXX | uniq 选项        uniq 选项 文件 

常用选项

-c	进行计数，并删除文件中重复出现的行
-d	仅显示连续的重复行
-u	仅显示出现一次的行

对连续的重复行进行去重，并统计重复次数

仅输出不连续重复的行

四、tr 对输入的内容进行替换

XXX | tr 选项`参数1``[参数2]`

常用选项

-t	tr命令的默认选项，使用 参数2 的字符替换成 参数1 的字符
-c	仅保留 参数1 的字符，其它字符（包括\n）都替换成 参数2 的字符
-s	根据 参数1 进行去重，如果有 参数2 则再用 参数2 的字符替换 参数1 的字符
-d	删除所有 参数1 的字符

   -t

五、对数组排序

echo${数组名[@]} | tr```\n` | sort -rn | tr`\n```

六、cut 对行内容进行字段截取

cut命令---显示行中的指定部分，删除文件中指定字段
语法格式：
cut  参数
cat file | cut 选项

XXX | cut 选项 参数

常用选项

-f	通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分隔符。
-d	“TAB”是默认的分隔符，使用此选项可以更改为其他的分隔符。
--complement	此选项用于排除所指定的字。
--output-delimiter	更改输出内容的分隔符。

 
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$"  //可登录用户
root:x:0:0:root:/root:/bin/bash
admin:x:1000:1000:admin:/home/admin:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | awk -F: '{print $1}'  //只显示用户名
root
admin
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1    //只显示用户名
root
admin
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1,7   //第一和第七字段
root:/bin/bash
admin:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1,3-4,7  //第一，三，四、和七字段
root:0:0:/bin/bash
admin:1000:1000:/bin/bash
 

[root@l1 ~]# cat /etc/passwd | grep "^root"    root开头的
root:x:0:0:root:/root:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "^root" | cut -d ':' -f 1,3-4,7
root:0:0:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "^root" | cut -d ':' -f 1,3-4,7 --complement 
                             //--complement：取反
x:root:/root
[root@l1 ~]# 

七、字符串分片

echo ${变量:下标:长度}                       #下标起始从0开始
echo $变量 | cut -b 起始下标-终止下标        #下标起始从1开始
expr substr $变量 起始下标 长度              #下标起始从1开始

八、split 按照格式拆分文件

常用选项

-l	根据行数分割文件
-b	根据大小分割文件
-d	输出的目标文件后缀用户数字代替

split -l 50 /etc/passwd passwd        #以50行对文件进行拆分，最后一个文件的行数没有50行以实际行数进行分配