sort uniq 除去重复行

最新推荐文章于 2022-10-29 20:46:14 发布

Bronze83

最新推荐文章于 2022-10-29 20:46:14 发布

阅读量2k

点赞数

分类专栏： linux 文章标签：数据库工具 file 工作磁盘任务

本文链接：https://blog.csdn.net/Bronze83/article/details/2349024

版权

linux 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

sort命令的功能是对文件中的各行进行排序。sort命令有许多非常实用的选项，这些选项最初是用来对数据库格式的文件内容进行各种排序操作的。实际上，sort命令可以被认为是一个非常强大的数据管理工具，用来管理内容类似数据库记录的文件。
　　Sort命令将逐行对文件中的内容进行排序，如果两行的首字符相同，该命令将继续比较这两行的下一字符，如果还相同，将继续进行比较。
　　语法：
　　sort ［选项］文件
　　说明：sort命令对指定文件中所有的行进行排序，并将结果显示在标准输出上。如不指定输入文件或使用"- "，则表示排序内容来自标准输入。

　　sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省情况下以整行为关键字按ASCII字符顺序进行排序。

　　改变缺省设置的选项主要有：

　　- m 若给定文件已排好序，合并文件。

　　- c 检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息，并以状态值1退出。

　　- u 对排序后认为相同的行只留其中一行。

　　- o 输出文件将排序输出写到输出文件中而不是标准输出，如果输出文件是输入文件之一，sort先将该文件的内容写入一个临时文件，然后再排序和写输出结果。

　　改变缺省排序规则的选项主要有：

　　- d 按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。

　　- f 将小写字母与大写字母同等对待。

　　- I 忽略非打印字符。

　　- M 作为月份比较："JAN"<"FEB"
　　- r 按逆序输出排序结果。

　　＋posl - pos2 指定一个或几个字段作为排序关键字，字段位置从posl开始，到pos2为止（包括posl，不包括pos2）。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。

　　- b 在每行中寻找排序关键字时忽略前导的空白（空格和制表符）。

　　- t separator 指定字符separator作为字段分隔符。

　　下面通过几个例子来讲述sort的使用。

　　用sort命令对text文件中各行排序后输出其结果。请注意，在原文件的第二、三行上的第一个单词完全相同，该命令将从它们的第二个单词vegetables与fruit的首字符处继续进行比较。

　　$ cat text

　　vegetable soup

　　fresh vegetables

　　fresh fruit

　　lowfat milk

　　$ sort text

　　fresh fruit
　
　　fresh vegetables

　　lowfat milk

　　vegetable soup

　　用户可以保存排序后的文件内容，或把排序后的文件内容输出至打印机。下例中用户把排序后的文件内容保存到名为result的文件中。

　　$ sort text>result

　　以第2个字段作为排序关键字对文件example的内容进行排序。

　　$ sort +1-2 example

　　对于file1和file2文件内容反向排序，结果放在outfile中，利用第2个字段的第一个字符作为排序关键字。

　　$ sort -r -o outfile +1.0 -1.1 example

　　sort排序常用于在管道中与其他命令连用，组合完成比较复杂的功能，如利用管道将当前工作目录中的文件送给sort进行排序，排序关键字是第6个至第8个字段。

　　$ ls - l | sort +5 - 7

进行排序之后，您会发现有些行是重复的。有时候该重复信息是不需要的，可以将它除去以节省磁盘空间。不必对文本行进行排序，但是您应当记住 uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行。

清单 1. 用 uniq 除去重复行

				
        $ cat happybirthday.txt
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
        $ sort happybirthday.txt 
Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!
        $ sort happybirthday.txt | uniq
Happy Birthday Dear Tux!
Happy Birthday to You!

如果您希望您的工作轻松点，比如只显示唯一的或重复的行，那么该怎么办呢？您可以用 -u （唯一）和 -d （重复）选项来做到这一点，例如：

警告：请不要使用 uniq 或任何其它工具从包含财务或其它重要数据的文件中除去重复行。在这种情况下，重复行几乎总是表示同一金额的另一个交易，将它除去会给会计部造成许多困难。千万别这么干！

清单 2. 使用 -u 和 -d 选项

				
        $ sort happybirthday.txt | uniq -u
Happy Birthday Dear Tux!
        $ sort happybirthday.txt | uniq -d
Happy Birthday to You!

您还可以用 -c 选项从 uniq 中获取一些统计信息：

清单 3. 使用 -c 选项

				
        $ sort happybirthday.txt | uniq -uc
      1 Happy Birthday Dear Tux!
        $ sort happybirthday.txt | uniq -dc
      3 Happy Birthday to You!

就算 uniq 对完整的行进行比较，它仍然会很有用，但是那并非该命令的全部功能。特别方便的是：使用 -f 选项，后面跟着要跳过的字段数，它能够跳过给定数目的字段。当您查看系统日志时这非常有用。通常，某些项要被复制许多次，这使得查看日志很难。使用简单的 uniq 无法完成任务，因为每一项都以不同的时间戳记开头。但是如果您告诉它跳过所有的时间字段，您的日志一下子就会变得更加便于管理。试一试 uniq -f 3 /var/log/messages ，亲眼看看。

还有另一个选项 -s ，它的功能就像 -f 一样，但是跳过给定数目的字符。您可以一起使用 -f 和 -s 。 uniq 先跳过字段，再跳过字符。如果您只想使用一些预先设置的字符进行比较，那么该怎么办呢？试试看 -w 选项。