删除Linux文件中的重复数据 uniq

1、uniq [选项] [参数]​

• -c或--count：在每列旁边显示该行重复出现的次数
• -d或--repeated：仅显示重复出现的行列；
• -f<栏位>或--skip-fields=<栏位>：忽略比较指定的栏位；
• -s<字符位置>或--skip-chars=<字符位置>：忽略比较指定的字符；
• -u或--unique：仅显示出一次的行列；
• -w<字符位置>或--check-chars=<字符位置>：指定要比较的字符。

2、删除两个文件中重复的数据并存入同一个文件中：

cat test1 test2 | sort | uniq > result.txt