Shell下做简单的文本去重、交集、并集

工作中经常会碰到要拉取数据情况，有了数据之后做一个简单的处理。

记录一下最常用到的做去重的操作

假设有文件list1

1
1
2
2
3
3
4

只用一条命令就能做去重的操作

cat list1 | uniq -u

结果会显示一个 4

当然，如果要筛选出有过重复的数字，只要修改一个参数

cat list1 | uniq -d

结果就是 1 2 3

那么，如果想针对多个文件处理呢， 其实也是一条语句就能解决了

cat list1 list2 list3 | sort | uniq -u

这样就能把这些文件中只出现一次的筛选出来。

 

所以，求文件的交集、并集也就很简单了

并集：

cat $file1 $file2 | sort | uniq

交集：

cat $file1 $file2 | sort | uniq -d

当前，求交并集的前提是这些文件里边的值都是唯一的， 如果不唯一，就得用其他方法了，不赘述。