1 sort
- u 对排序后认为相同的行只留其中一行
2 uniq 过滤、统计
$ uniq -c file [newfile] file中的重复行输出一次,并在每行前显示重复次数
$ uniq -d file [newfile] file中的重复行输出一次,但不输出唯一的行
$ uniq -u file [newfile] 只输出file中的唯一行
例子:某文件xxx.txt 每行包含一个数字,要去重
cat xxx.txt | sort |uniq
- u 对排序后认为相同的行只留其中一行
2 uniq 过滤、统计
$ uniq -c file [newfile] file中的重复行输出一次,并在每行前显示重复次数
$ uniq -d file [newfile] file中的重复行输出一次,但不输出唯一的行
$ uniq -u file [newfile] 只输出file中的唯一行
例子:某文件xxx.txt 每行包含一个数字,要去重
cat xxx.txt | sort |uniq