sort 与 uniq 命令区别 -- 文本去重

sort 与 uniq 命令区别 – 文本去重

做wargames bandit level8-level9 时，发现有很多错误的解释。。
若想搜索整个文件中唯一的不重复的词，命令如下

 sort xx.txt| uniq -u

sort 排序

test.txt 内容如下

c
abc
a
aa
aaa
bb
bbbbbb
bb
bb

sort 命令为排序命令，执行效果：

sort test.txt
>>         
a
aa
aaa
abc
bb
bb
bb
bbbbbb
c

sort -u 执行效果等同于 sort | uniq : 排序后重复的行去除，并保留一个 注意 bb

sort -u test.txt
>>
a
aa
aaa
abc
bb
bbbbbb
c

uniq 命令去重

uniq 只去除连续的重复字样 同样关注 bb

uniq test.txt 
>>
c
abc
a
aa
aaa
bb
bbbbbb
bb

uniq -b 若重复则删除整个重复字段 注意，单独出现的bb仍存在

uniq -u test.txt
>>
c
abc
a
aa
aaa
bb
bbbbbb

综上

sort test.txt|uniq -u
>>
a
aa
aaa
abc
bbbbbb
c