整数数据唯一(去重)排序

1.文件唯一排序：

cat file1 2 | sort | uniq -u

注意：uniq  和  comm 命令需要使用已经排序好的内容才有意义。注意文件格式要为unix

 

一些例子：

第一：两个文件的交集，并集

前提条件：两个文件不得有重复的行（即两个文件都要去重）

1. 取出两个文件的并集 cat file1 file2 | sort | uniq >file3

2. 取出两个文件的交集 cat file1 file2 | sort | uniq -d >file3

3. 删除交集 cat file1 file2 | sort |uniq -u <file3

4.取出两个文件的交集并排序 cat file1 file2 | sort | uniq -d  | sort -n -k1

5.取出两个文件的并集并排序 cat file1 file2 | sort | uniq | uniq -d |sort -n -k1 > file3

第二：两个文件合并

1. 一个在上一个在下 cat file1 files2 >file3

2. 一个在左一个在右 paste file1 file2 >file3

3. cat file1 >> file2

第三：一个文件去掉重复行

1.  sort file | uniq 把重复的行合并为一行

2.  sort file | uniq -u 把重复的行删除，仅保留非重复的行

3. sort file | uniq -d  列出重复的行

4.cat consumer.dat consumer.dat | sort | uniq | sort -n -k1 列出一个文件所有不重复的行