linux查询文件重复记录,Linux 查询文件内容重复数 uniq

报告或删除文件中重复的行。

语法

uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

-c 在输出行前面加上每行在输入文件中出现的次数。

-d 仅显示重复行。

-f  忽略由 Fields 变量指定的字段数目。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。

-u 仅显示不重复的行。

例子：查询一个文件重复最多的前10条记录：

uniq -c file | sort -n -r |head -10

查询2个文件重复的数据

cat file1 file2 |sort|uniq -d

---------------------

作者：ekliu

来源：CSDN

原文：https://blog.csdn.net/ekliu/article/details/8931651

版权声明：本文为博主原创文章，转载请附上博文链接！