linux下的几种文本去重方法

1、传统方法：cat xx | sort | uniq

优点：简单直接

缺点：顺序乱了

2、awk命令去重输出：awk ‘!x[$0]++’ filename

应用扩展1：cat Afile Bfile|awk '!x[$0]++' >Cfile

依次输出A、B两个文件内容，去掉B中与A重复的行，输出到C；多应用于日志拼接。

灵活扩展2：cat Afile|awk '!x[$0]++'

也可以写作：awk '!x[$0]++' Afile

去掉重复的行，输出A文件