linux 去重
1. uniq 参数解析
参数 | 说明 |
---|---|
-c | 统计行出现的次数 |
-d | 只显示重复的行并去重 |
-u | 只显示唯一的行 |
-i | 忽略大小写 |
-f | 忽略前N个字段(字段间用空白字符分隔) |
2. 使用 awk 去重
1️⃣ 两个文件去重
示例:
aa 文件内容
123
234
345
456
123
234bb 文件内容
123
234
aaa
345
456
ccc
123
234
bbb
# 使用 awk 对两个文件进行去重
[root@localhost ~]# awk '{print $0}' aa bb | sort | uniq -u
aaa
bbb
ccc
2️⃣ 一个文件去重
示例:
aa 文件内容
123
234
345
456
123
234
# 使用 awk 对单个文件去重(去重后不会打乱顺序)
[root@localhost ~]# awk '!x[$0]++' aa
123
234
345
456
# 查找文件中的一行
# 保留重复项
[root@localhost ~]# awk '{print $0}' aa | sort | uniq -d
123
234
# 保留未重复项
[root@localhost ~]# awk '{print $0}' aa | sort | uniq -u
345
456
3. sort 结合 uniq 去重
示例:
bb 文件内容
123
234
aaa
345
456
ccc
123
234
bbb
# 查看文件中重复的行
[root@localhost ~]# sort bb | uniq -d
123
234
# 查看文件中不重复的行
[root@localhost ~]# sort bb | uniq -u
345
456
aaa
bbb
ccc
# 统计出现的行数
[root@localhost ~]# sort bb | uniq -c
2 123
2 234
1 345
1 456
1 aaa
1 bbb
1 ccc