文件处理工具：wc,cut,sort,uniq

wc命令：统计
常用选项：
-l ：显示行数
-w：显示单词数 （以空格分隔为一个单词）
-c：显示字符数
cut命令：切割
常用选项：
-d ：指明分隔符
-f #：指明第几个字段，如，1；1，2；1-3
sort命令：排序
常用选项：
-f：忽略字符大小写
-r：逆序
-t：字段分隔符
-k #：以指定字段为标准排序
-n：以数值大小进行排序
-u：排序后去重
uniq：去重
常用选项：
-c：显示每行重复出现的次数
-d：仅显示重复过的行
-u：仅显示不曾重复的行

Note：连续且完全相同方为重复

转载于:https://blog.51cto.com/12950413/2140263