Linux下我们用 sort 与 uniq 的命令来实现去重复行。
去重复行
简单的用法如下,如一个文件名:happybirthday.txt
cat happybirthday.txt (显示文件内容)
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
cat happybirthday.txt|sort (排序)
Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!
cat happybirthday.txt|sort|uniq (去重复行)
Happy Birthday Dear Tux!
Happy Birthday to You!
去大文件重复行
但有时碰到一个大文件时(例如G级的文件),用上面的命令时报错,提示空间不足。我尝试了一下,最后是用 split 命令把大文件分割为几个小文件,单独排完序后再合并 uniq 。
split -b 200m happybirthday.big Prefix_
用-b参数切割happybirthday.big,小文件为200M。切割后的文件名前缀是Prefix_
切割后的文件名如
Prefix_aa
Prefix_ab
再分别sort
sort Prefix_aa >Prefix_aa.sort
sort Prefix_ab >Prefix_ab.sort
再用 sort -m合并,再 uniq
cat Prefix_aa.sort Prefix_ab.sort |sort -m |uniq
这是好早前碰到的一个问题了。没记错的话应该是这么回事。~
sort 与 uniq 命令还有许多有用的参数,如sort -m、uniq -u、uniq -d等。sort 与 uniq的组合是很强大的。
~完。