Linux中uniq的用法

在Linux中，`uniq`命令是一个用于处理文本文件，尤其是去除重复行的工具。以下是`uniq`命令的基本用法和一些常见选项：

 基本用法

- **去除相邻重复行**：

 uniq filename

  这将读取`filename`中的内容，并去除相邻的重复行后输出。

 常用选项

- **-c**：在每行前加上该行在文件中出现的次数。

uniq -c filename

- **-d**：仅显示重复的行。

 uniq -d filename

- **-u**：仅显示独一无二的行。

 uniq -u filename

- **-i**：忽略大小写差异。

uniq -i filename

- **-f N**：忽略比较时的前N个字段。

uniq -f 1 filename

  这会忽略每一行的第一个字段进行比较。

- **-s N**：忽略每行开始的N个字符。

uniq -s 5 filename

  这会忽略每行的前5个字符进行比较。

 注意事项

- `uniq`命令默认处理相邻的重复行。如果文件中的重复行不相邻，通常需要先使用`sort`命令对文件进行排序。

 sort filename | uniq

- 当与`sort`命令结合使用时，典型的用法是先排序，再去重，以确保所有重复的行都被正确识别。
  
 实例

1. **统计每行出现次数**：

uniq -c log.txt

2. **显示唯一行**：

uniq -u data.csv

3. **忽略字段进行比较**：
   假设文件中有几列数据，只想比较第三列以后的内容：

sort data.txt | uniq -f 2

4. **忽略行首特定字符进行比较**：
   如果每行开始有固定长度的标识符需要忽略：

uniq -s 8 status.log

通过组合这些选项，`uniq`命令可以灵活地应用于各种数据去重和分析场景。