了解 sort 和 uniq 命令 (包括 uniq 的 -u 和 -d 选项)

cat a b | sort | uniq > c   # c is a union b 并集
 
cat a b | sort | uniq -d > c   # c is a intersect b 交集
 
cat a b b | sort | uniq -u > c   # c is set difference a - b 差集
查看a b文件内容
[root@hadoop luanshoushen]# cat a b
LUAN
SHOU
SHEN
LUAN
SHOU
SHEN
1111
2222
3333
LUAN
KEVIN
1234
1111
使用-c
cat a b |sort|uniq -c
      2 1111
      1 1234
      1 2222
      1 3333
      1 KEVIN
      3 LUAN
      2 SHEN
      2 SHOU
cat a b |sort|uniq //并集
1111
1234
2222
3333
KEVIN
LUAN
SHEN
SHOU
 cat a b |sort|uniq -d //交集
1111
LUAN
SHEN
SHOU
 cat a b |sort|uniq  -u //差集
1234
2222
3333
KEVIN

--查找当前目录下比较大的文件，并且按文件第一列排序
du ./* |sort -t " " -n -k1|awk -F' ' '{if($1>100000) print $0}' 
sort -t ' '  -n -k1  -r 
 -t, --field-separator=SEP  use SEP instead of non-blank to blank transition
 -k, --key=POS1[,POS2]     start a key at POS1 (origin 1), end it at POS2
                            (default end of line)
 -r, --reverse               reverse the result of comparisons