18 Shell Script sort和uniq命令

sort和uniq命令

一、sort命令的使用

​ sort 命令是帮我们依据不同的数据类型进行排序，并将结果写到标准输出。如果File 参数指定多个文件，那么sort 命令将这些文件连接起来，并当作一个文件进行排序

​ 选项与参数

​ –f ：忽略大小写的差异，例如A 与a 视为编码相同；

​ –b ：忽略最前面的空格符部分；

​ –n ：使用『纯数字』进行排序(默认是以文字型态来排序的)；

​ –r ：反向排序；

​ –u ：就是uniq，相同的数据中，仅出现一行代表；

​ –t ：分隔符，默认是用[tab] 键来分隔；

​ –k ：选择以哪个区间进行排序。

# 以字典顺序[a-z]的顺序排序
[root@localhost ~]# sort /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
cl:x:1000:1000::/home/cl:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
……

# 以：为分隔，第三个，使用数字排序
[root@localhost ~]# sort -t ':' -k 3n /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
……

# 倒序排序
[root@localhost ~]# sort -t ':' -k 3nr /etc/passwd
user1:x:1001:1001::/home/user1:/bin/bash
cl:x:1000:1000::/home/cl:/bin/bash
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
zabbix:x:997:995:Zabbix Monitoring System:/var/lib/zabbix:/sbin/nologin
redis:x:996:994:Redis Database Server:/var/lib/redis:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
……

# 先以第六个域的第2个字符到第4个字符进行正向排序，再基于第一个域进行反向排序
[root@localhost ~]# sort -t':' -k 6.2,6.4 -k 1r /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
user1:x:1001:1001::/home/user1:/bin/bash
cl:x:1000:1000::/home/cl:/bin/bash
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
……

# 对/etc/passwd的第七个域进行排序，然后去重
[root@localhost ~]# sort -t':' -k 7 -u /etc/passwd
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
halt:x:7:0:halt:/sbin:/sbin/halt
bin:x:1:1:bin:/bin:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

二、uniq命令的使用

​ uniq命令可以去除排序过的文件中的重复行，因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的

​ 选项与参数

​ –i ：忽略大小写字符的不同；

​ –c ：进行计数

​ –u ：只显示唯一的行

[root@localhost ~]# cat test01.txt             
hello 1
hello 2
hello 3
hello 1
hello 1
hello 2
hello 3

# 只查重相邻的行
[root@localhost ~]# uniq test01.txt
hello 1
hello 2
hello 3
hello 1
hello 2
hello 3

# 排序文件然后去重
[root@localhost ~]# sort test01.txt | uniq
hello 1
hello 2
hello 3

# 排序之后删除了重复行，然后在行首位置输出该行重复的次数
[root@localhost ~]# sort test01.txt | uniq -c
      3 hello 1
      2 hello 2
      2 hello 3