sort、uniq命令(可以对文本内容过滤除重)、split分割文件

文章来自：http://blog.chinaunix.net/u1/40226/showart_315762.html

1.uniq----过滤、统计、删除重复行
  uniq [options][file1 [files]]

$ uniq -c file  [newfile]  file中的重复行输出一次，并在每行前显示重复次数
$ uniq -d file  [newfile] file中的重复行输出一次，但不输出唯一的行
$ uniq -u file  [newfile]       只输出file中的唯一行
$ uniq file1 file2 把file1中的重复的相邻行删除，并把每行的一个拷贝送到file2
注意：用uniq 命令除重 必须用sort命令进行递增或递减排序后才能用。

sort  file 

uniq  file

或直接使用

sort -u file  这条命令包括排序及除重
[root@lmailmms root]# more cwm.txt
133  2008-02-17
133  2008-02-16
133  2008-04-10
132  2007-08-11
[root@lmailmms root]# uniq -w 3