正则表达式

目录

一、sort命令

二、sort  对行内容进行升序排序

三、uniq   对连续的重复行进行去重

四、tr   对输入的内容进行替换

五、对数组排序 、

六、cut  对行内容进行字段截取

七、字符串分片 

八、split   按照格式拆分文件

---

一、sort命令

以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序
比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

二、sort  对行内容进行升序排序

XXX | sort 选项          sort 选项 文件 

常用选项

-n	按照数组进行排序
-r	反向排序
-u	排序后去重（表示相同的数据仅显示一行
-t	根据-t 指定的分隔符的第 k个字段进行排序
-k	指定排序字段
-o	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

反向排序

[root@localhost opt]# du -a /var/log | sort -nr
5352    /var/log
3048    /var/log/anaconda
2016    /var/log/anaconda/journal.log
704     /var/log/audit/audit.log
704     /var/log/audit
596     /var/log/anaconda/packaging.log
416     /var/log/messages-20240518
352     /var/log/sa
248     /var/log/anaconda/syslog
132     /var/log/messages-20240519
128     /var/log/sa/sa19
124     /var/log/sa/sa18
124     /var/log/dmesg.old
124     /var/log/dmesg
100     /var/log/sa/sar18
96      /var/log/gdm
92      /var/log/anaconda/storage.log
68      /var/log/Xorg.0.log.old
56      /var/log/gdm/:0.log.1
48      /var/log/Xorg.0.log
48      /var/log/lastlog
40      /var/log/gdm/:0.log
32      /var/log/anaconda/X.log
32      /var/log/anaconda/program.log
28      /var/log/boot.log-20240518
28      /var/log/anaconda/anaconda.log
24      /var/log/Xorg.9.log
16      /var/log/tallylog
8       /var/log/wtmp
8       /var/log/vmware-vmsvc-root.log
8       /var/log/vmware-network.log
8       /var/log/secure-20240519
8       /var/log/secure-20240518
8       /var/log/cups
8       /var/log/cron-20240519
4       /var/log/yum.log
4       /var/log/wpa_supplicant.log
4       /var/log/vmware-vmusr-root.log
4       /var/log/vmware-vmtoolsd-root.log
4       /var/log/vmware-vgauthsvc.log.0
4       /var/log/vmware-network.3.log
4       /var/log/vmware-network.2.log
4       /var/log/vmware-network.1.log
4       /var/log/tuned/tuned.log
4       /var/log/tuned
4       /var/log/messages
4       /var/log/maillog-20240518
4       /var/log/grubby_prune_debug
4       /var/log/firewalld
4       /var/log/cups/access_log-20240519
4       /var/log/cups/access_log-20240518
4       /var/log/cron-20240518
4       /var/log/cron
4       /var/log/btmp
4       /var/log/anaconda/ifcfg.log
0       /var/log/xferlog-20240519
0       /var/log/xferlog
0       /var/log/swtpm/libvirt/qemu
0       /var/log/swtpm/libvirt
0       /var/log/swtpm
0       /var/log/sssd
0       /var/log/spooler-20240519
0       /var/log/spooler-20240518
0       /var/log/spooler
0       /var/log/speech-dispatcher
0       /var/log/secure
0       /var/log/samba/old
0       /var/log/samba
0       /var/log/rhsm
0       /var/log/qemu-ga
0       /var/log/ppp
0       /var/log/pluto/peer
0       /var/log/pluto
0       /var/log/ntpstats
0       /var/log/maillog-20240519
0       /var/log/maillog
0       /var/log/libvirt/qemu
0       /var/log/libvirt
0       /var/log/glusterfs
0       /var/log/gdm/:0-greeter.log.1
0       /var/log/gdm/:0-greeter.log
0       /var/log/cups/page_log
0       /var/log/cups/error_log
0       /var/log/cups/access_log

前5行

反之就是后5行

三、uniq   对连续的重复行进行去重

XXX | uniq 选项          uniq 选项 文件 

常用选项

-c	对连续的重复行进行去重，并统计重复次数
-d	仅输出连续重复的行
-u	仅输出不连续重复的行

对连续的重复行进行去重，并统计重复次数

仅输出连续重复的行

 仅输出不连续重复的行

四、tr   对输入的内容进行替换

XXX | tr 选项 '参数1' ['参数2']

常用选项

-t        tr命令的默认选项，使用 参数2 的字符替换成 参数1 的字符
-c        仅保留 参数1 的字符，其它字符（包括\n）都替换成 参数2 的字符
-s        根据 参数1 进行去重，如果有 参数2 则再用 参数2 的字符替换 参数1 的字符
-d       删除所有 参数1 的字符

-t

五、对数组排序 、

echo ${数组名[@]} | tr ' ' '\n' | sort -rn | tr '\n' ' '

六、cut  对行内容进行字段截取

XXX | cut 选项 参数

-d '分隔符' -f 字段序号	根据 -d 指定的分隔符的截取显示 -f 指定的字段
--complement	取反，不显示 -f 指定的字段
--output-delimiter '分隔符'	指定输出的字段分隔符

[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$"  //可登录用户
root:x:0:0:root:/root:/bin/bash
admin:x:1000:1000:admin:/home/admin:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | awk -F: '{print $1}'  //只显示用户名
root
admin
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1    //只显示用户名
root
admin
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1,7   //第一和第七字段
root:/bin/bash
admin:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "/bin/bash$" | cut -d ':' -f 1,3-4,7  //第一，三，四、和七字段
root:0:0:/bin/bash
admin:1000:1000:/bin/bash

[root@l1 ~]# cat /etc/passwd | grep "^root"    root开头的
root:x:0:0:root:/root:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "^root" | cut -d ':' -f 1,3-4,7
root:0:0:/bin/bash
[root@l1 ~]# cat /etc/passwd | grep "^root" | cut -d ':' -f 1,3-4,7 --complement 
                             //--complement：取反
x:root:/root
[root@l1 ~]# 

七、字符串分片 

echo ${变量:下标:长度}                       #下标起始从0开始
echo $变量 | cut -b 起始下标-终止下标        #下标起始从1开始
expr substr $变量 起始下标 长度              #下标起始从1开始

八、split   按照格式拆分文件

-l    根据行数分割文件
-b    根据大小分割文件
-d    输出的目标文件后缀用数字替代

如何将一个10G文件分割为10个1G的文件        split -b 1G -d 原文件  目标文件名前缀
如何将一个100行文件分割为10个10行的文件    split -l 10 -d 原文件  目标文件名前缀