一篇带你了解sort、uniq、tr、cut命令

sort命令

概述

• sort命令是以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序

语法格式

• sort [选项] 参数
• cat file | sort [选项]

[root@localhost ~]# sort  2.txt 
daijuan
FENGDU
LIbai
WANYU
wuguotai
zhaoyun
ZHAOYUN
[root@localhost ~]# cat 2.txt | sort 
daijuan
FENGDU
LIbai
WANYU
wuguotai
zhaoyun
ZHAOYUN

常用选项

选项	说明
-f	忽略大小写，默认会将大写字母排在后面
-b	忽略每行前面的空格
-n	按照数字进行排序
-r	反向排序
-u	等同于uniq，表示相同的数据仅显示一行
-t	指定字段分隔符，默认使用[Tab]键分隔
-k	指定排序字段
-o <输出文件>	将排序后的结果转存至指定文件

[root@localhost ~]# sort -f 2.txt 
daijuan
FENGDU
LIbai
WANYU
wuguotai
ZHAOYUN
zhaoyun

• 去重反向按数字进行排序

[root@localhost ~]# sort -n -u -r 3.txt 
3333
444
421
222
33
2
1
[root@localhost ~]# vim 3.txt

444
33
2
3333
33
1
222
222
3333
421

• 根据UID以大到小的方式进行反向排序

[root@localhost ~]# cat /etc/passwd | sort -t ":" -k 3 -nr
或者
[root@localhost ~]# sort -t ":" -k 3 -nr /etc/passwd
【指定/etc/passwd里以":"为字段分隔符的第3段内容，并按照数字顺序进行反向排序】
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
qz:x:1000:1000:qz:/home/qz:/bin/bash
...略...
...略...
...略...
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash

• 查看当前目录中占用空间最大的文件或目录

[root@localhost log]# du --max-depth=1 | sort -nr
8572	.
3084	./anaconda
1632	./audit
...略...
...略...
...略...
0	./glusterfs
0	./chrony

uniq命令

概述

• uniq命令用于报告或忽略文件中连续的重复行，常与sort命令结合使用

语法格式

• uniq [选项] 参数
• cat file | uniq [选项]

常用选项

选项	说明
-c	进行计数，并删除文件中重复出现的行
-d	仅显示连续的重复行
-u	仅显示出现一次的行

• 反向按照数字进行排序，并删除重复出现的行后计数

[root@localhost ~]# sort -nr 4.txt | uniq -c
      2 666
      5 555
      2 444
      3 333
      2 222
      1 111
[root@localhost ~]# vim 4.txt 
111
222
333
333
444
444
555
555
555
555
555
333
222
666
666

tr命令

概述

• tr命令常用来替换、压缩和删除来自标准输入的字符

语法格式

• tr [选项] [参数]

常用选项与参数

选项	说明
-c	保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d	删除所有属于字符集1的字符
-s	将重复出的字符串压缩成一个字符串；用字符集2替换字符集1
-t	字符集2替换字符集1，不加选项结果相同

参数	说明
字符集1	指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”
字符集2	指定要转换成的目标字符集

• 将所有小写字母全替换成大写

[root@localhost ~]# echo "qwtrhbtrwere" | tr 'a-z' 'A-Z'
QWTRHBTRWERE
[root@localhost ~]# echo "qwtrhbtrwere" | tr 'qwe' 'A-Z'
ABtrhbtrBCrC
【因为字符集qwe分别需要替换的是ABC。所以qw换成AB,we换成BC，最后的e换成了C】

• 替换

[root@localhost ~]# echo qwe | tr -c 'qw' '5'
【因为默认有\n回车符，所以字符集1的“q和w”保留后，字符集2的“5”就替换了原来的“e”和回车符”\n”】
qw55[root@localhost ~]# echo qwe | tr -c 'ew' '5'
5we5[root@localhost ~]# 
[root@localhost ~]# echo qwe | tr -c 'qw\n' '5'
qw5
[root@localhost ~]# echo qwe | tr -c 'ew\n' '5'
5we
【因为保留的字符集1里包含了\n换行符，所以用于替换的字符集2替换后输出的值仍旧自动换行】

• 删除

[root@localhost ~]# echo 'take easy' | tr -d 'ak'
te esy
【删除字符集a和k】

• 将重复的字符串压缩成一个字符串

[root@localhost ~]# echo 'takeeeeee easyyyyyyy' | tr -s 'y'
takeeeeee easy
[root@localhost ~]# echo 'takeeeeee easyyyyyyy' | tr -s 'ye'
take easy
[root@localhost ~]# echo 'takeeeeee easyyyyyyy' | tr -s 'ye' '689'
tak8 8as6
【将重复出现的e和y压缩成y和e并用字符串2里的“689”进行分别替换，因为“9”没有对应的替换值，所以9字符串2里的“9”不参加替换】

• 删除空行

[root@localhost ~]# echo -e "aa\n\n\n\n\nee"
aa




ee
[root@localhost ~]# echo -e "aa\n\n\n\n\nee" | tr -s "\n"
aa
ee
【用-s将重复出现的字符压缩成1个字符串并用\n回车符替换】

• 将路径变量里的冒号替换成换行符

[root@localhost ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
[root@localhost ~]# echo $PATH | tr -s ":" "\n"
/usr/local/sbin
/usr/local/bin
/usr/sbin
/usr/bin
/root/bin

• 删除Windows文件“造成”的“^M”字符
• Linux中遇到换行符（\n）会进行回车+换行的操作，回车符反而只会作为控制字符（^M）显示，不进行回车的操作。但是Windows中需要回车符+换行符（\r\n）才会进行回车+换行的操作，缺少一个控制符或者顺序不对都不能正确的另起一行

[root@localhost ~]# cat -v 5.txt 
111^M
^M
^M
222^M
^M
^M
^M
333[root@localhost ~]# 
[root@localhost ~]# cat 5.txt | tr -s "\r" "\n" > 5-1.txt
【用字符串2“\n”替换字符串1“\r”并输入到5-1.txt文件】
[root@localhost ~]# cat -v 5-1.txt 
111
222
333[root@localhost ~]# 
或者
[root@localhost ~]# cat 5.txt | tr -d "\r" > 5-2.txt
[root@localhost ~]# cat -v 5-2.txt 
111


222



333[root@localhost ~]# 

数组排序

[root@localhost ~]# sz=(3 201 12 33 59 85)
[root@localhost ~]# echo ${sz[@]}
3 201 12 33 59 85
[root@localhost ~]# echo ${sz[@]} | tr ' ' '\n' 
3
201
12
33
59
85
【将数组sz的值交给tr命令去替换处理】
[root@localhost ~]# echo ${sz[@]} | tr ' ' '\n' | sort -n | tr '\n' ' ' >6-1.txt^C
[root@localhost ~]# cat 6-1.txt 
3 12 33 59 85 201 [root@localhost ~]# ^C
【将数组sz的值交给sort命令去按照数字顺序进行排序，并且将排序后的数值交给tr命令去执行替换操作，输入到6-1.txt中】
[root@localhost ~]# num=`echo ${sz[@]} | tr ' ' '\n' | sort -n | tr '\n' ' ' `
[root@localhost ~]# echo $num 
3 12 33 59 85 201
【将数组sz的值交给sort命令去按照数字顺序进行排序，并且将排序后的数值交给tr命令去执行替换操作。最后提取处理后的值赋给变量num】

cut命令

概述

• cut命令用来显示行中的指定部分，删除文件中指定的字段

语法格式

• cut [选项] [参数]
• cat file | cut [选项]

常用选项

选项	说明
-f	通过指定某一个字段进行提取 cut命令使用"TAB"作为默认的字段分隔符
-d	"TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符
- -complement	此选项用于排除所指定的字段
- -output-delimiter	更改输出内容的分隔符

[root@localhost ~]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
...略...
...略...
...略...
tcpdump:x:72:72::/:/sbin/nologin
qz:x:1000:1000:qz:/home/qz:/bin/bash
[root@localhost ~]# cut -d ':' -f 1 /etc/passwd
【以“:”为分隔符，提取/etc/passwd文件第1字段的内容】
root
bin
...略...
...略...
...略...
tcpdump
qz
[root@localhost ~]# grep '/bin/bash' /etc/passwd | cut -d ':' -f 1-4,6,7
【以“:”为分隔符，提取/etc/passwd文件第1-4字段和第6和第7字段的内容】
root:x:0:0:/root:/bin/bash
qz:x:1000:1000:/home/qz:/bin/bash
[root@localhost ~]# grep '/bin/bash' /etc/passwd | cut -d ':' --complement -f 3
【以“:”为分隔符，提取/etc/passwd文件内容但排除第二个字段】
root:x:0:root:/root:/bin/bash
qz:x:1000:qz:/home/qz:/bin/bash
[root@localhost ~]# cut -d ':' -f2,5 --output-delimiter=' ' /etc/passwd
【以“:”为分隔符，提取/etc/passwd文件内第2和第5字段内容，并将输出的分隔符修改成空格】
x root
x bin
...略...
...略...
...略...
x 
x qz