流式处理两个文件，求其差集（comm）

背景：有两个数据文件（1.txt和2.txt），1.txt中存储一批垃圾域名，2.txt文件中存有企业上报的域名，现在需要从企业上报域名库中剥离掉垃圾域名。

刚开始使用grep处理，如下：

grep -vf ./1.txt ./2.txt > ./result.txt

但是命令执行一会，服务器32G内存全部吃光，一会提示killed

后来想着grep这个命令的内部原理应该是将两个文件的内容先全部加载到内存，然后处理，所以此种方式不可用，

在网上搜索之后发现comm比较好用（实现原理应该是流处理，即加载一部分处理一部分，然后释放，再继续处理下一部分）

实现步骤：

第一步：将两个文件排序、去重：

sort 1.txt | uniq 1uniq.txt

sort 2.txt | uniq 2uniq.txt

comm -13 1uniq.txt  2uniq.txt > result.txt