一、差集
有两个文件user_2020.txt、user_2019.txt
其中user_2020.txt中内容如下:
uuu
aaa
bbb
111
user_2019.txt中内容如下:
eeeee
aaa
bbb
ccc
aaa
示例一:求user_2020.txt - user_2019.txt的差集命令
sort user_2020.txt user_2019.txt user_2019.txt| uniq -u
结果如下:
111
uuu
示例二:求user_2019.txt - user_2020.txt的差集命令
sort user_2019.txt user_2020.txt user_2020.txt| uniq -u
结果如下:
ccc
eeeee
应用说明:如果有个大文件domain_total.txt,其中包含已知全部的域名数据,新来的域名domain_2020.txt,则获取新增的域名的操作如下:
sort domain_2020.txt domain_total.txt domain_total.txt | uniq -u
求的即使本次新增的域名。
二、交集
sort user_2019.txt user_2020.txt| uniq -d
结果如下(注意:单行文本中不能包含特殊字符,否则上述命令会失效,例如 1.0.0.1类似的IP去重,可以使用sed等命令将 特殊字符替换掉后再求交集):
aaa
bbb
三、并集
sort user_2019.txt user_2020.txt| uniq
111
aaa
bbb
ccc
eeeee
uuu