[shell]数据的并集和差集

统计数据时经常会有这样的要求，有文件Ａ和文件Ｂ。现在需要知道文件中的数据，那些是Ａ和Ｂ共有的，那些只出现在Ａ文件中(或者那些只出现在Ｂ文件中)。这样的需求可以通过uniq命令完成。

uniq -d 会输出重复行

uniq -u 只显示唯一的行

利用uniq  sort 略施小计就能搞定了

例如　文件Ａ

100
101
102
100

文件Ｂ

103
102
102

脚本如下

cat A | sort | uniq >tmpA #Ａ数据集祛重
cat B | sort | uniq > tmpB #B数据集祛重

cat tmpA tmpB | sort | uniq -d  #Ａ和Ｂ的交集

cat tmpA tmpB tmpB| sort | uniq -u ＃Ａ中有而Ｂ中没有的数据（Ａ－Ｂ）

说明，交集和差集是计算原理是什么呢？其实单步执行一下就清楚了。

cat A | sort | uniq >tmpA ;cat  tmpA
100
101
102

cat B | sort | uniq >tmpB ;cat  tmpB
102
103

然后用cat tmpA tmpB 合并两个文件

cat tmpA tmpB
100
101
102
102
103

最后，用uniq找出文件中的重复行，就是A和B的交集了

cat tmpA tmpB | sort | uniq -d
102

至于求差集，原理是类似的。