Linux 文本处理三剑客之 Grep：高效搜索与过滤技巧

前言

在 Linux 系统中，sed、awk 和 grep 是处理文本数据的强大工具，这三者合力被称为 Linux 文本处理的“三剑客”，本文将结合实际应用讲解这三个工具的使用技巧。（本文以 Ubuntu 版本示例）

grep（Global Regular Expression Print）

选项	描述
-i	忽略大小写
-v	反向匹配
-r ，-R	递归搜索（-r不处理软链接，-R处理软链接）
-l	匹配文件名
-n	显示行号
-H	显示匹配行的文件名
-o	只显示匹配部分
-c	显示匹配行数
-q	静默模式，常用于脚本中
-e	匹配一个或多个关键字
-f	从文件中读取匹配关键字
-E	启用扩展正则表达式
-F	显示固定字符串，而不用正则表达式
-A	显示匹配行及其后面指定数量的行
-B	显示匹配行及其前面指定数量的行
-C	显示匹配行及其 前后指定数量的行

-i 选项，忽略大小写

// 匹配关键字不区分大小写
[root@ubuntu:~]$ grep -i finished /var/log/syslog
2024-08-05T11:46:15.532319+00:00 ubuntu2401 systemd[1]: Finished systemd-udev-trigger.service - Coldplug All udev Devices.
2024-08-05T11:46:15.532432+00:00 ubuntu2401 lvm[589]: VG ubuntu-vg finished

-v 选项，取反

// 忽略关键字的信息行
[root@ubuntu:~]$ grep -v 'DEBUG' /var/log/syslog

-r 选项，递归

// 匹配目录下所有文件是否包含指定的关键字，输出结果显示文件路径
[root@ubuntu:/etc]$ grep -r 'ERROR' /var/log/
/var/log/installer/subiquity-server-info.log.2092:2024-08-05 19:35:42,536 ERROR root:38 finish: subiquity/Refresh/check_for_update: FAIL: cancelled
/var/log/installer/subiquity-server-debug.log.2092:2024-08-05 19:35:42,536 ERROR root:38 finish: subiquity/Refresh/check_for_update: FAIL: cancelled

-l , -H选项，只显示文件路径

// 匹配目录下所有.log后缀的文件中哪些含有ERROR报错，将匹配到的文件名返回输出
[root@ubuntu:~]/var/log]$ grep -l 'ERROR' /var/log/*.log

// 除了输出文件名，还包含文件内容中匹配到的行
[root@ubuntu:~]/var/log]$ grep -H 'ERROR' /var/log/*.log

-o 选项，只显示匹配的内容

[root@ubuntu ~]# grep -o root /etc/passwd
root
root
root

-c 选项，显示匹配到的行数

[root@ubuntu:~]$ grep -ci 'ERROR' /var/log/syslog
29

-e 选项，匹配多个关键字

// An highlighted block
root@ubuntu2204 ~]# grep -e root -e bash /etc/passwd

-f 选项，从文件中匹配关键字

// 注意文件中不能有空行
[root@ubuntu:~]$ echo "timeout" > test.txt
[root@ubuntu:~]$ grep -f test.txt /etc/passwd

-E 选项，开启扩展正则表达式

// 搜索文件中匹配ERROR、ARNING、INFO的行
// 简化匹配
[root@ubuntu ~]# grep -E 'ERROR|WARNING|INFO' /var/log/syslog

-A, -B, -C 选项，显示匹配行数后两行、前两行、前后各两行

// 匹配到的行数包含后两行
[root@ubuntu ~]# grep -A 2 root /etc/passwd

// 匹配到的行数包含前两行
[root@ubuntu ~]# grep -B 2 root /etc/passwd

// 匹配到的行数包含前后各两行
[root@ubuntu ~]# grep -C 2 root /etc/passwd

匹配出分区利用率最大值

[root@ubuntu ~]# df | grep '^/dev/sd' |tr -s ' ' %|cut -d% -f5|sort -n|tail -1
10

搜索与当前主机连接次数最多的三个IP

// ss -nt显示所有网络连接的状态
// grep "^ESTAB"筛选出ESTAB的行
// tr -s ' ' :将连续空格转换为冒号
// cut -d将冒号作为字段分隔符，提取第六列
// sort 对第六列进行排序
// uniq -c统计每个端口号（第六列）出现的次数
// sort -nr按照次数进行降序排序
[root@ubuntu ~]# ss -nt |grep "^ESTAB" | tr -s ' ' : |cut -d: -f6 |sort |uniq -c |sort -nr | head -n3
      2 106.39.148.233
      1 100.100.30.26

统计连接状态

// An highlighted block
[root@ubuntu:~]$ ss -nta |grep -v '^State' | cut -d" " -f1 |sort | uniq -c
      1 ESTAB
      5 LISTEN

提取 IP 地址

[root@ubuntu:~]$ ifconfig | grep -E 'inet [0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9].{1,3}'
        inet 10.0.0.5  netmask 255.255.255.0  broadcast 10.0.0.255
        inet 127.0.0.1  netmask 255.0.0.0

// ([0-9]{1,3}\.){3}[0-9]{1,3}正则表达式匹配一个标准的IP地址格式
[root@ubuntu:~]$ ifconfig ens33 |grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' |head -1
10.0.0.5

思考：如何计算文件中年龄总和

age.txt
xiaoming=20
xiaohong=18
xiaoqiang=22

// cut -d"=" -f2 以“=”为分隔符取第二列字段
// tr "\n" "+" 将换行符替换为”+“
// grep -Eo ".*[0-9]" 匹配以数字结尾的字符串
// bc 计算由加号连接的数字表达式之和
[root@ubuntu:~]$ cat age.txt |cut -d"=" -f2 |tr "\n" "+" |grep -Eo ".*[0-9]" |bc
60