shell脚本-grep、sed、awk三剑客

最新推荐文章于 2024-05-19 13:35:39 发布
最新推荐文章于 2024-05-19 13:35:39 发布
阅读量947 收藏 29
点赞数 21
文章标签： shell awk grep sed linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42434700/article/details/136834383
版权

文章目录

介绍

Shell 脚本中的 grep、sed 和 awk 被称为 “三剑客”，它们是文本处理中的利器。grep 用于快速搜索文本，sed 则是对文本进行编辑和转换，而 awk 则提供了更强大的文本处理能力，可以按字段分割、执行条件操作等。这三者结合起来，能够处理各种文本处理任务，如日志分析、数据提取、格式转换等。

基本正则表达式

正则表达式的基本组成部分

  • ^：行起始标记
  • $：行尾标记
  • .：匹配任意一个（单个）字符
  • []：匹配包含在[字符]之中的任意一个字符
  • [^]：匹配除[^字符]之外的任意一个字符
  • [-]：匹配中指定范围内的任意一个字符
  • ?：匹配之前的项1或0次
  • +：匹配之前的项1次或多次
  • *：匹配之前的项0或多次
  • ()：创建一个用于匹配的字串
  • {n}：匹配之前的项n次
  • {n,}：之前的项至少需要匹配n次
  • {n,m}：指定之前的项所必需匹配
  • |：交替匹配|两边的任意一项
  • \：转义字符可以将上面的特殊字符进行转义

案例

  • ^linux: 以"linux"开头
  • linux$: 以"linux"结尾
  • Alex.: 匹配"Alexs"等
  • coo[kl]: 匹配"cool"或"cook"
  • 9[^5689]: 匹配"91"、“92"等，但不匹配"95”、"98"等
  • [0-9]: 匹配任意一个数字
  • [a-z]|[A-Z]: 匹配任意一个大小写字母
  • colou?r: 匹配"color"或"clolur"，但不能匹配"colouur"
  • rollno-9+: 匹配"rollno-9"、“rollno-99”、“rollno-999”，但不匹配"rollno-"
  • co*l: 匹配"cl"、“col”、“cool”、"coool"等
  • ma(tri)x: 匹配"matrix"
  • [0-9]{3}: 匹配任意一个三位数，等同于[0-9][0-9][0-9]
  • [0-9]{2,}: 匹配任意一个两位数或更多位的数字
  • [0-9]{2,5}: 匹配从两位数到五位数之间的任意一个数字
  • Oct (1st|2nd): 匹配"Oct 1st"或"Oct 2nd"
  • a\.b: 匹配"a.b"，但不能匹配"ajb"
  • [a-z0-9_]+\@[a-z0-9_]+\.[a-z]{2,4}: 匹配一个邮箱地址
  • [0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}: 匹配IP地址

grep用法

grep 的作用是检索，即根据条件查找目标文件中的匹配内容。

语法格式：
grep [选项] [条件表达式] 目标文件

常用选项：

  • -e：匹配多个表达式
  • -R：递归搜索
  • -n：显示匹配的行号
  • -o：只输出匹配内容
  • -E：支持扩展正则表达式
  • -c：统计匹配次数
  • -v：取反，即显示不匹配的内容
  • -l：显示匹配的文件名
  • -L：显示不匹配的文件名
  • -A：显示匹配行后的行数
  • -B：显示匹配行前的行数

案例

[root@ns ~]# cat /proc/meminfo | grep -e Mem -e Cache -e Swap  # 查看系统内存、缓存、交换分区
[root@ns ~]# grep -R -o -n -E '[a-z0-9_]+\@[a-z0-9_]+\.[a-z]{2,4}' /etc/  # 查找/etc目录下的所有文件中的邮件地址；-R递归，-n表示匹配的行号，-o只输出匹配内容，-E支持扩展正则表达式
[root@ns ~]# grep -R -c 'HOSTNAME' /etc/ | grep -v "0$"  # 查找/etc/目录下文件中包含“HOSTNAME”的次数，-c统计匹配次数，-v取反
[root@ns ~]# grep -R -l 'HOSTNAME' /etc/  # 查找包含“HOSTNAME”的文件名，-l显示匹配的文件名，-L显示不匹配的文件名
[root@ns ~]# dmesg | grep -n --color=auto 'eth'  # 查找内核日志中eth的行，显示颜色及行号
[root@ns ~]# dmesg | grep -n -A3 -B2 --color=auto 'eth'  # 用 dmesg 列出核心信息，再以 grep 找出内含 eth 那行,在关键字所在行的前两行与后三行也一起找出出来显示
[root@ns ~]# cat /etc/passwd | grep -c bash$  # 统计系统中能登录的用户的个数
[root@ns tmp]# touch /tmp/{123,123123,456,1234567}.txt  # 创建测试文件，以下三条命令是一样的效果，匹配文件名123，可以包含1个到多个
[root@ns tmp]# ls | grep -E '(123)+' 
[root@ns tmp]# ls | grep '\(123\)\+'
[root@ns tmp]# ls | egrep '(123)+'
[root@ns ~]# ps -ef | grep -c httpd  # 统计httpd进程数量
[root@ns ~]# grep -C 4 'games' --color /etc/passwd  # 显示games匹配的“-C”前后4行
[root@ns ~]# grep ^adm /etc/group  # 查看adm组的信息
[root@ns ~]# ip a | grep -E '^[0-9]' | awk -F : '{print $2}'  # 获取网卡名称
[root@ns ~]# ifconfig eth0 | grep -E -o 'inet addr:[^ ]*' | grep -o '[0-9.]*'  # 截取ip地址，[^ ]*表示以非空字符作为结束符，[0-9.]*表示数字和点的组合
[root@ns ~]# ifconfig eth0 | grep -i hwaddr | awk '{print $5}'  # 截取MAC地址
[root@ns ~]# cat test.txt  # 测试文档：使用grep -E命令练习正则表达式
[root@ns tmp]# cat test.txt 
ABcd
10.10.10.10
color
colur
Alex2
colouur
rollno-9
i like linux
linux funny.
I am Alex.
rollno-99
rollno-999
cl
col
cool
coool
cook
max
matrix
192.168.100.100
123456789
123123123
123123
23346123
123
12
12345
94
95
96
97
98
99
100
Oct 1st
Oct 2nd
a.b
ajb
abc
Alex@qq.com
linux
[root@ns tmp]#

sed流编辑器

sed流编辑器：实现对文本的增删改查

# 改
[root@ns ~]# sed 's/dhcp/static/g' /etc/sysconfig/network-scripts/ifcfg-eth1  # 只是显示，不修改
[root@ns ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
[root@ns ~]# sed -i 's/dhcp/static/g' /etc/sysconfig/network-scripts/ifcfg-eth1  # 只修改，不显示
[root@ns ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1  # 验证
[root@ns ~]# vim ip  # 编写测试文件 
IP1=static
IP2=static
IP=static
:wq
[root@ns ~]# sed -i 's/dhcp/static/g' ip  # 将所有的dhcp替换为static
[root@ns ~]# sed -i '/^IP1/s/static/dhcp/g' ip  # 将IP1开头的行替换
[root@ns ~]# sed -i '2s/static/dhcp/g' ip  # 指定特定行号2行替换
[root@ns ~]# cat -n /etc/selinux/config  # 查看并显示行号
[root@ns ~]# sed -i '7s/disabled/enforcing/g' /etc/selinux/config  # 开启selinux
[root@ns ~]# sed -i '7s/disabled/enforcing/g' /etc/selinux/config

# 删
[root@ns ~]# vim  ip  # 添加空行
[root@ns ~]# sed '/^$/d' ip  # 删除空行并显示在屏幕上
[root@ns ~]# sed -i '/IP1/d' ip  # 删除包含IP1的行
[root@ns ~]# sed -i '/^IP2/d' ip  # 删除以IP2开头的行
[root@ns ~]# sed -i '2d' ip  # 删除第二行

# 增
[root@ns ~]# sed 'a IP3=static' ip  # 每一行后都加上IP3=static
[root@ns ~]# sed '3a IP3=static' ip  # 只在第3行后加上IP3=static，并显示不修改
[root@ns ~]# sed '3i IP3=static' ip  # 只在第3行前加上IP3=static，显示不修改
[root@ns ~]# sed -i '3a IP3=static' ip  # 修改，不显示
[root@ns ~]# sed -i '/^IP3/a "test add"' ip  # 在以IP3开头的行后添加

# 查
[root@ns ~]# sed -n '2p' /etc/hosts  # 查看第二行
[root@ns ~]# sed -n '/www/p' /var/named/chroot/var/named/Alex.cn.zone  # 查看包含www的解析记录
[root@ns ~]# sed -n '/.100$/p' /var/named/chroot/var/named/Alex.cn.zone  # 查看以.100结尾的行
[root@ns ~]# sed -n '2~2p' ip  # 从第二行，每隔两行显示

awk：报告生成器

# awk的作用是将文件格式化后显示信息。
# 语法：
awk [选项] '模式{ 动作（action） }' 文件1 文件2 ...

# 最常见的动作：print, printf

# awk的基本原理特征：
# 1）每一次取一行
# 2）根据指定的分隔符（不指定是位空白字符）将该行切割位列，使用$0(整行),$1,$2,$3...（第一列,第二列,...）
# 3）可以指定行号，列号，切割符，操作后分隔符

在这里插入图片描述

案例

chkconfig --list | grep 3:启用 | awk '{print $1}'
tail -1 /etc/passwd | awk -F ':' 'BEGIN{OFS="---"}{print $1,$6,$7}'   # OFS指定输出分隔符
ifconfig eth1 | awk -F '[ :]+' 'NR==2 {print $4}'
ifconfig eth1 | awk -F '[ :]+' 'NR==2 {print "eth1_ip="$4}'  # 可以加入显示内容
awk 'BEGIN {print "line one \nline two\nline three"}'

awk区块原理

每一条编辑指令若包含多条语句，则以分号隔开。如果有多条编辑指令，则使用以分号或者空格分隔的多个{ }区域。

区域构成

区块
BEGIN { 动作 } ## 开始处理第一行文本之前的操作
{ 动作 } ## 针对每一行文本的处理操作
END { 动作 } ## 处理完最后一行文本之后的操作

awk 的执行流程

  • 1）首先执行 BEGIN { } 区块中的初始化操作；
  • 2）然后从指定的数据文件中循环读取一个数据行（自动更新 NF、 NR、 $0、 $1…… 等内建变量的值），并执行’模式或条件{ 动作 }'；
  • 3）最后执行 END { } 区块中的后续处理操作。

awk高级使用

1. AWK 变量

  • FS：列分隔符，默认为空白
  • RS：行分隔符，默认为换行符
  • OFS：输出列分隔符
  • ORS：输出行分隔符

2. AWK 内置变量

  • NR：处理中的行数
  • FNR：单个文件的行数
  • NF：列的个数

在 MarkdownPad2 中，你可以将 awk 操作符优化为如下形式：

awk操作符

1. 算数操作符

  • -x
  • +x
  • x^y
  • x**y
  • x*y
  • x/y
  • x+y
  • x-y
  • x%y

2. 赋值操作符

  • =
  • +=
  • -=
  • *=
  • /=
  • %=
  • ++
  • --

3. 布尔值

在 awk 中，任何非零值或非空字符串都为真，反之为假。

4. 比较操作符

  • >
  • <
  • >=
  • <=
  • ==
  • !=
  • ~ (字符串能被表达式 y 匹配)
  • !~ (字符串不能被表达式 y 匹配)

5. 逻辑操作符

  • &&
  • ||
  • !

awk常见的模式类型

1. 正则表达式 (regexp)

使用 /regular expression/ 格式的正则表达式进行匹配。

awk -F : '/^u/{print $1}' /etc/passwd

2. 表达式 (expression)

使用值非零或非空字符串的表达式进行条件判断。

awk -F : '$3>=500{print $1,$3,$7}' /etc/passwd  # 打印普通用户
awk -F : '$3+1<=100 && $3+1>=10{print $1,$3,$7}' /etc/passwd  # UID在10-100之间的用户
awk -F : '$2=="!!"{print $1,$2}' /etc/shadow  # 检查未初始化密码的用户
passwd -d u01
awk -F : '$2==""{print $1}' /etc/shadow  # 打印密码为空的用户
awk -F : '$7~"bash$"{print $1,$3,$7}' /etc/passwd  # 匹配$7为bash结束行
awk -F : '$7!~"bash$"{print $1,$3,$7}' /etc/passwd

3. 匹配范围 (ranges)

指定的匹配范围，格式为 part1,part2。

awk -F : '$3==3,$3==10{print $1,$3,$7}' /etc/passwd
awk -F : '$1=="root",$1=="adm"{print $1,$3,$7}' /etc/passwd
awk -F : '/^r/,/^a/{print $1,$3,$7}' /etc/passwd

4. 特殊模式 (BEGIN/END)

在处理开始前（BEGIN）或处理结束后（END）执行的特殊模式。

awk -F : 'BEGIN{printf "%-10s%-10s%-20s\n","UserName","ID","Shell"}{printf "%-10s%-10s%-20s\n",$1,$3,$7}' /etc/passwd  # 在处理前打印头部
awk -F : 'BEGIN{printf "%-10s%-10s%-20s\n","UserName","ID","Shell"}$7~"bash$"{printf "%-10s%-10s%-20s\n",$1,$3,$7}' /etc/passwd  # 多个模式混合使用
awk -F : 'BEGIN{printf "%-10s%-10s%-20s\n","UserName","ID","Shell"}$7~"bash$"{printf "%-10s%-10s%-20s\n",$1,$3,$7}END{print "End of report"}' /etc/passwd  # 在处理后打印尾部
awk -v i=1 '$5~"yum"{i++}END{print "yum use times:", i}' /var/log/messages

awk 中数组的使用

数组的使用

在 awk 中，数组的下标（index-expression）可以是任意字符串。如果某个数组元素事先不存在，awk 会自动创建该元素并初始化为空串。要判断数组中是否存在某个元素，需要使用 下标 in 数组 的方式。要遍历数组中的每个元素，可以使用特殊结构 for (变量 in 数组) { 语句1, ... }。

例如：

state[abc]=3
state[efg]=6
for (A in state) {
    print A,state[A]
}

其中，A 是 index-expression（下标abc/efg），state[A] 是具体的值（3/6）。

示例

假设我们有以下 netstat -ant 命令的输出：

Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address    Foreign Address        State      
tcp        0      0 0.0.0.0:22       0.0.0.0:*           LISTEN      
tcp        0      0 127.0.0.1:25     0.0.0.0:*           LISTEN      
tcp        0      0 192.168.1.106:22 192.168.1.101:36318 ESTABLISHED

若要统计每种状态的个数，只需将 state 作为数组下标，然后使用 ++ 自增操作即可。

netstat -ant | awk '/^tcp|^udp/ {state[$6]++} END {for (i in state) {print i,state[i]}}'

这段代码中，state[$6]++ 表示定义数组 state[]，$6 是下标，++ 表示自增1。

另一个示例是使用 awk 遍历 /etc/passwd 文件中的每一行，如果用户的 shell 是 bash，且其 UID 在 1 到 500 之间，则将其 shell 修改为 /sbin/nologin。

for i in $(awk -F : '$7~"bash$" {if($3 > 1 && $3 < 500) print $1}' /etc/passwd); do
    chsh -s /sbin/nologin $i;
done
XMYX-0
关注
  • 21
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Shell三剑客（grep、sed、awk）
礁之的博客
12-20 8188
Shell三剑客（grep、sed、awk）一、grep二、sed流编辑器（1）sed简介：（2）工作流程：- 常见选项- 常见操作- sed替换标记- sed元字符集sed用法示例（1）输出符合条件的文本（2）删除符合条件的文本 ’d'（3）替换符合条件的文本（4）迁移符合条件的文本（5）使用脚本编辑文件三、awk工具（1）awk工作流程（2）awk常见用法（3）特殊的内建变量用法示例：（1）按行输出文本（2）按字段输出文本（3）通过管道符、双引号调用shell命令 一、grep grep的一些正则表达式
grep和sed
qq_43191116的博客
12-06 485
1、通配符 常用的通配符有 通配符 含义 示例 正则表达式 正则表达式由一类特殊字符及文本字符所编写的模式，其中有些字符不表示其字面意义，而是用于表示控制或通配的功能； 正则表达式分两类：基本正则表达式 ：BRE 扩展正则表达式 ：ERE 基本正则表达式 扩展正则表达式 grep文本处理器 详情参考本人有道云笔记 文档：grep文本过滤器.note 链接：http://note.youd...
shell脚本【“sed”命令】
最新发布
m0_61187759的博客
05-19 378
sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。sed的工作流程主要包括读取、执行和显示sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space)。执行:默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。显示:发送修改后的内容到输出流。
sed、grep
weixin_34402090的博客
12-31 80
两个概念，通配符与正则表达式，这两个规范的实现都是由软件所提供的，如通配符：shell和find，而它们的实现之间还有区别如：shell的[ ]里面是不区分大小写的。而find是区分大小写的。而正则表达式这一种更为强大的搜索规范所使用的软件如：vi,sed,grep,awk。Linux上文本处理三剑客：grep, egrep, fgrep：文本过滤工具（模式：...
grep、sed
jingzhiz 专属移动笔记
01-23 283
一、grep 1、统计包含关键字的行数(一行存在多个关键字，计数为1) grep -c "keyword" filename 若文件中有多个关键字，需要统计所有关键字出现的次数 2、grep -o ：-o参数，可以逐行输出匹配的内容，有多少个匹配就有多少行 cat filename | grep -o "keyword" | grep -c "keyword" 统计/etc/...
sed + grep 命令
wgembed的专栏
04-04 3930
sed是一种非交互式的流编辑器，可动态编辑文件。 所谓非交互式是说，sed和传统的文本编辑器不同，并非和使用者直接互动，sed处理的对象是文件的数据流（称为stream/流）。 sed的工作模式是，比对每一数据行，若符合样式，就执行指定的操作。               sed --version       //查看sed版本      sed语法               s
Shell grep / sed 学习
weixin_30480583的博客
07-01 160
听说过sed 和 awk 比较强大，专门学习了一下。 使用这些shell工具需要一些正则表达式的知识，这里先来了解一些特殊符号的意思： 特殊符号 代表意义 [:alnum:] 代表英文大小写字节及数字，亦即 0-9, A-Z, a-z [:alpha:] 代表任何英文大小写字节，亦即 A-Z, a-z [:blank:] 代表空白键与 [T...
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
3.基础正则表达式： ^word 搜索以word开头的 4.扩展的正则表达式：ERE（egrep或grep -E） + 重复一次或一次以上前面的一个字符 5.理
linux系统，awk，grep，sed
08-13
主要减少linux系统中的查询三剑客grep,awk,sed的使用方法和详解，适合linux初学进行学习，适合在日常对于文本内容或者命令执行结果的搜索，可以完善和简便自己的工作内容和完善对于shell脚本的使用。
shell最全基础2020年入门—从熟悉grep、sed、awk开始
01-09
本文将深入介绍Shell的基础知识，以及三个强大的文本处理工具——grep、sed和awk。 一、什么是Shell Shell脚本大白话 Shell是一种特殊的程序，它接收用户输入的命令，解析这些命令并将其转化为操作系统可以理解的...
grep和sed中文官方文档，文字版
01-13
grep和sed中文官方文档，文字版，grep和sed中文官方文档，文字版grep和sed中文官方文档，文字版重要的事情只说三遍，这两个花了15积分，现在5积分奉上
sed、grep、awk的使用和简单Shell编程
04-12
通过这些实验，我们可以提升对Linux系统、grep、sed、awk以及shell脚本编程的理解，从而更有效地处理日常的系统管理和自动化任务。这些工具和技能不仅在日常工作中非常实用，也是成为一名熟练的Linux管理员必备的...
sed&grep命令
kuangbende_cike的博客
02-03 177
sed-grep命令 sed -i ‘KaTeX parse error: Expected 'EOF', got '#' at position 85: …th0 #̲追加ip地址。 sed…aNETMASK=255.255.255.0’ /etc/sysconfig/ifcfg-eth0work-scripts/ifcfg-eth0 #追加子网掩码 sed -i ‘KaTeX parse error: Expected 'EOF', got '#' at p
sed与grep
bimie1383的博客
08-17 504
sed与grep 文本处理工具是用来查看、分析、统计文本的工具其中最有名有三个，这次先介绍两个sed与grep。这两个有一个共同点那便是都是支持正则表达式与扩展正则表达式。 能够抽取文本的工具有很多 内容抽取：cat、more、less 文件截取：head、tail 按列抽取：cut 排序和统计：sort、wc 按关键字抽取：grep 按行处理：sed 1.sed sed是一...
shell工具之grep,sed
qq_37954088的博客
07-08 840
1. grep工具 1. 功能 grep是一个非常强大的命令，可以和正则表达式配合使用，实现了对文本的过滤和查找。 2. 常用选项 选项 功能 –color 使匹配到的文本高亮显示 -E 使用扩展模式 -v 选择未匹配的行 -i 忽略大小写 -L 输出未匹配的文件 -I 输出匹配的文件名 -c ...
sed和grep操作
zhaoyangjian724的专栏
05-14 558
jrhapt01:/usr/local/apache-tomcat-7.0.55_8081/logs> grep -n '^2015-05-14' catalina.out | head -1 821734:2015-05-14 00:19:05,935 INFO o.a.shiro.session.mgt.AbstractValidatingSessionManager - Validatin
shell之文本处理工具三剑客
qwerty1372431588的博客
12-03 151
文本处理工具grepsedawk 报告生成器 grep - grep 格式 - grep 匹配条件 处理文件 - grep -E = egrep ##E是扩展的意思可以相当于或 - grep -E 'halt|lp' file ##查找halt或者lp存在的行 - grep root passwd #过滤root关键字 - grep ^root passwd ##以root开头 - grep root$ passwd ##以root结尾 -

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XMYX-0

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值