解析Shell编程中的-----“去重“

原因:

在编写自动化脚本的时候发现,需要使用到循环来遍历某个文件中的内容,但此文件中存在大量的重复无用的数据,需要将其----去重

实践中:

采用 sort 和 uniq 命令来对其进行去重,并发现两者不同

实际例子如下

此处处理的文件名为 data

[root@ip-10-0-1-169 ~]# cat data 
123456789
55v1g52d4
15613g645
15613g645
15613g645
15613g645
15613g645
123456789
123456789
123456789
15613g645
15613g645
15613g645

使用sort 处理数据

[root@ip-10-0-1-169 ~]# cat data |sort -u
123456789
15613g645
55v1g52d4

使用uniq处理数据

[root@ip-10-0-1-169 ~]# cat data |uniq
123456789
55v1g52d4
15613g645
123456789
15613g645
[root@ip-10-0-1-169 ~]# cat data |uniq -u
123456789
55v1g52d4

由上述例子可得:

sort:

串联排序所有指定文件并将结果写到标准输出,此处加上-u参数, --unique 输出一次排序结果

uniq:

用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列