xiaoheshang1105的专栏

原创 流式处理两个文件，求其差集（comm）

背景：有两个数据文件（1.txt和2.txt），1.txt中存储一批垃圾域名，2.txt文件中存有企业上报的域名，现在需要从企业上报域名库中剥离掉垃圾域名。 刚开始使用grep处理，如下： grep -vf ./1.txt ./2.txt > ./result.txt 但是命令执行一会，服务器32G内存全部吃光，一会提示killed 后来想着grep这个命令的内部原理应该是将两个文件...