Linux系统sort排序与uniq去重

Linux系统sort排序与uniq去重

工作中数据太多太杂，不便于查看分析。这时是可以采用sort将数据排序，同时可以配合uniq命令进行去重。

场景：云平台中，日常工作包含巡检工作，是通过事先编写好的巡检脚本去检测云平台的和Node节点（Linux系统）的健康情况。有问题的信息会打印保存在日志中，这里面包含了很多IP（Node），而且具有大量重复IP（成百上千个IP等）。

为了定位到哪些Node节点存在问题以及都有什么问题。为了便于分析查看，需要对其IP进行排序以及去重处理。

sort 命令

sort 命令用于对文本数据进行排序

基本语法

1sort [选项]... [文件名]

如果没有指定文件名，sort 命令会从标准输入（stdin）读取数据，这使得它能够方便地与其他命令通过管道（|）组合使用

常用选项

• -n：按数值大小进行排序
• -r 或 –reverse：逆序排序
• -t：指定分隔符，用于字段排序（例如 -t',' 使用逗号作为分隔符）
• -k：指定排序的字段，格式为 -kN[,M]，其中 N 是字段编号，M 可选，表示排序结束的字段，可以用于排序跨越多个字段
• -u 或 –unique：输出唯一行，去除重复行
• -m 或 –merge：合并已排序的文件
• -o：将排序结果输出到文件而不是标准输出，例如 -o sorted.txt

示例

• 简单排序：按字母顺序排序文件内容

  $ cat file.txt
  d
  c
  b
  a
  h
  e
  # 字母顺序
  $ sort file.txt
  a
  b
  c
  d
  e
  h
  

• 数值排序：按数值从小到大排序

  $ cat v