linux 筛选重复数据,Linux下uniq筛选

Linux中的简单筛选

1.新建两文件：name1 ,name2,内容如下：

name1: hello 1,hello 2,hello 3

name2: hello 1,hello 2,hello 4

2.筛选

2.1 将两文件内容整合，相同项去掉

[root@fileserver kenny]# cat name1 name2|sort|uniq

hello 1

hello 2

hello 3

hello 4

[root@fileserver kenny]#

2.2 将两文件中相同项挑出，相同的项只保留一条记录

[root@fileserver kenny]# cat name1 name2|sort|uniq -d

hello 1

hello 2

[root@fileserver kenny]#

2.3 将两文件中不同项找出

[root@fileserver kenny]# cat name1 name2|sort|uniq -u

hello 3

hello 4