去除文本中重复的数据行

一、去掉相邻重复的数据行




复制代码
代码如下:


$cat data1.txt | uniq
输出：
beijing
wuhan
beijing
wuhan


二、去掉所有重复的数据行




复制代码
代码如下:


$cat data1.txt | sort | uniq


注：
只有uniq命令的话，只是把相邻的重复的数据行去掉。
如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了。


输出：
beijing 
wuhan 
*****************************************************************************************************************