Shell 学习9（uniq命令）

uniq 命令：

uniq命令用于去除文本文件中的重复行，这类似于sort命令的-u选项 

区别：

sort -u命令时，所有重复记录都被去掉！！！ 
uniq命令去除的重复行必须是连续重复出现的行，中间不能夹杂任何其他文本行

文件内容：
ThinkPad:USA:14000:2009:X301 
ThinkPad:USA:14000:2009:X301 
ThinkPad:USA:14000:2009:X301 
HP:China:5600:2010:DM3 
SumSung:Korea:5400:2009:Q308 
ThinkPad:USA:14000:2009:X301 
IdeaPad:China:8000:2007:U450 
Acer:Taiwan:8000:2010:PT210 
Acer:Taiwan:8000:2010:PT210 

uniq命令的-c选项打印每行在文本中重复出现的次数，常用于计数功能，-c选项是uniq最有用的选项 ，这个很重要的！

uniq -c CARGO.db （只能去除重复连续出现的行！！）

      3 ThinkPad:USA:14000:2009:X301 
      1 HP:China:5600:2010:DM3 
      1 SumSung:Korea:5400:2009:Q308 
      1 ThinkPad:USA:14000:2009:X301 
      1 IdeaPad:China:8000:2007:U450 
      2 Acer:Taiwan:8000:2010:PT210 

eg

sed -e 's/\.//g' -e 's/\,//g' -e 's/\://g' -e 's/ /\n/g' "$1" | sort | uniq -c | sort -nr 
统计各个单词出现的次数 包括空格！
部分结果；
      3 you 
      3   （这个代表空格 因为在正则中 将空格替换城了换行！！！）
      2 use 
      2 is 
      2 can 
      1 xxoo 
      1 world 


uniq命令的-d和-u选项正好相反，-d选项用于显示有重复的记录，而-u选项显示没有重复的记录