cat $1 $2 | sort | uniq -d >temp.txt
cat $2 temp.txt | sort | uniq -u > $3
$1 $2 $3 分别代表的是几个不同的文件,
该脚本思路是先求出两个文本的交集,然后用一个文件去除掉交集部分,剩下的部分也就是两个文本差异化的部分。
我同样在线上处理几G的文本,并进行内存监控,并未发现严重吃内存的现象,并且速度较比第一种也快了很多,因此建议使用该脚本来操作 。
cat $1 $2 | sort | uniq -d >temp.txt
cat $2 temp.txt | sort | uniq -u > $3
$1 $2 $3 分别代表的是几个不同的文件,
该脚本思路是先求出两个文本的交集,然后用一个文件去除掉交集部分,剩下的部分也就是两个文本差异化的部分。
我同样在线上处理几G的文本,并进行内存监控,并未发现严重吃内存的现象,并且速度较比第一种也快了很多,因此建议使用该脚本来操作 。