shell中的文本处理正则表达式（grep，sed，awk，linux中三剑客）

最新推荐文章于 2022-04-18 22:21:21 发布
最新推荐文章于 2022-04-18 22:21:21 发布
阅读量270 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rapig1/article/details/99706667
版权

1.什么是正则表达式

正则表达式，又称为规则表达式，在代码中常简写为regex，regexp或RE，计算机科学的一个概念
正则表达式通常被用来检索，替换那些符合某个模式（规则）的文本
许多程序设计语言都支持利用正则表达式进行字符串操作，例如在Perl内建了一个功能强大的正则表达式引擎
正则表达式这个概念最初是由Unix中的工具软件，例如sed和grep普及开的
正则表达式常缩写成regex，单数由regexp，regex，复数有regexps，regexes，regexen
正则表达式是对字符串操作的一种逻辑公式，用事先定义好的特定字符，及这些特定字符的组合组成一个规则字符串
这个规则字符串用来表达对字符串的一种过滤逻辑

grep文本过滤器命令

grep的工作方式：在一个或多个文件中搜索字符串模板
如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名，搜索的结果被送到屏幕，grep可用于shell脚本，如果模板搜索成功返回0，不成功返回1，搜索文件不存在返回2，我们可以利用返回值做一些自动化的文本处理工作

grep的格式 （贪婪模式的匹配）
grep 匹配条件 处理文件
将/etc/passwd 移动到/mnt下
在这里插入图片描述
删除后面的内容
在这里插入图片描述

grep root passwd 搜索全文中的root

在这里插入图片描述

grep ^root 过滤以root开头

在这里插入图片描述

grep bash$ 过滤以bash结尾

在这里插入图片描述

grep -i root passwd 忽略大小写

在这里插入图片描述

grep -E “root | ROOT" passwd 同时匹配多个条件 相当于egrep使grep扩展，可识别扩展字符

在这里插入图片描述

grep -E "root|bash" passwd 搜索同时包含root和bash的行

在这里插入图片描述
grep属于贪婪模式的搜索和匹配，只要行中由root的出现，它就会打印匹配行，除非指定开头和结尾
在这里插入图片描述
grep不可以直接加两个条件
在这里插入图片描述
grep -E 就可以加两个条件，不加E的话就过滤两次，例：过滤root开头且bash结尾的行
在这里插入图片描述
在这里插入图片描述

grep -i root passwd -v 表示打印与匹配条件相反的行，除了root（忽略大小写）其他的行

在这里插入图片描述

cat passwd 查看passwd文件并显示行号

在这里插入图片描述

cat -b passwd | grep lp 过滤并查看含lp的行

在这里插入图片描述

cat -b passwd | grep lp -2 打印匹配行以及匹配行的上下两行

在这里插入图片描述

cat -b passwd | grep lp -A2 打印匹配行以及匹配行后两行

在这里插入图片描述

cat -b passwd | grep lp -B2 打印匹配行以及匹配行前两行

在这里插入图片描述
grep中的正则表达式
写入实验内容
在这里插入图片描述

^westos打印以westos开头的行
westos$打印以westos结尾的行
grep 'w....s'打印w和s中间包括四个字符的行

在这里插入图片描述

grep 'w....'打印w开头后面4个字符的行

在这里插入图片描述

grep '....s' 打印s结尾前面4个字符的行

在这里插入图片描述

grep ws 打印ws的行

在这里插入图片描述
grep中字符的匹配次数设定
编辑测试文件
在这里插入图片描述

*字符出现0-任意次，打印ab或者ab之间由0-多个任意字符的行

在这里插入图片描述

\?字符出现0-1次 打印b前，出现0-1次a

在这里插入图片描述

\+字符至少出现1次

在这里插入图片描述

\{n\} 字符出现n次 打印b前面a出现两次的行

在这里插入图片描述

|{m,n\} 字符最少出现m次，最多出现n次 打印b前a至少出现2次，最多出现3次的行

在这里插入图片描述

\{0,n\}字符出现至少0-n次 打印b前a至少出现0-2次的

在这里插入图片描述

\{m,\}字符出现至少m次 打印b前a至少出现过2次的行

在这里插入图片描述

(xy\)\{n\}xy 关键字出现n次 ab出现4次

在这里插入图片描述

.*关键字之间匹配任意字符 a和b之间出现0-多个字符的行

在这里插入图片描述

a*b 打印b前面由0-多个a的行

在这里插入图片描述
grep中字符的匹配位置设定

^ 关键字 寻找以什么开头的关键字

在这里插入图片描述

关键字 $ 寻找以什么结尾的关键字

在这里插入图片描述

\< 关键字 以root开头的两边必须是符号或者空的行

在这里插入图片描述

关键字 \> 以bash结尾两边必须是符号或者单词空格的行

在这里插入图片描述

\<关键字\>  匹配包含bash，bash两边必须是符号或者单词空格的行

在这里插入图片描述
==grep 正则表达式与扩展正则表达式

正规的grep不支持扩展正则表达式，|是用于表示或的扩展正则表达式字符，正规的grep无法识别
加上\这个字符就被转译成扩展正则表达式，就像egrep

sed行编辑器
1.sed命令的概念

sed是一项Linux指令，功能通awk类似，差别在于sed简单，对列处理的功能要差一些，awk功能复杂，对列处理的功能比较强大
sed来操作纯ASCII码的文本处理时，把当前处理的行储存在临时缓冲区，称为模式空间，可以指定仅仅处理哪些行
sed符合条件的处理，不符合条件的不处理，处理完后就把缓冲区的内容送至屏幕
接着处理下一行，这样不断重复，直到文件末尾
原来的内容是在磁盘中放着，现在用sed处理就相当于内容掉入内存的一个地方用户处理，这个处理空间就叫模式空间

sed命令格式
调用sed命令由两种形式

 sed 		[options]		'command' file
 sed		[options]	-f 	 scriptfile file

sed对字符的处理

p显示
d删除
a添加
c替换
w写入
i插入

p模式操作 （按要求显示行）

cp /etc/fstab .
cat -n fstab 显示空行

在这里插入图片描述

cat -n fstab | sed 5p 显示第五行并且在原来文件也显示

在这里插入图片描述> cat -n fstab | grep 3,5p 显示3-5行并且原来的文件也显示
在这里插入图片描述

cat -n fstab  | sed -n 3,5p 只显示模式空间的内容，不显示原来的文件内容

在这里插入图片描述

cat -n fstab | sed -n '3p;5p'  只显示模式空间的3，5行

在这里插入图片描述

显示包括#的行

在这里插入图片描述

显示不包括#的行

在这里插入图片描述

显示空行

在这里插入图片描述

显示非空行

在这里插入图片描述

显示非空行并且不是以#开头的行

在这里插入图片描述
d模式操作

删除#开头的行并且其余的行都显示

在这里插入图片描述

删除第五行，并显示其他的行

在这里插入图片描述

删除第三行和第五行

在这里插入图片描述

删除UUID开头的行

在这里插入图片描述
a模式操作 （按照要求添加）

在以UUID开头的行下面加入hello linux

在这里插入图片描述

在以UUID开头的行下面加入hello linux

在这里插入图片描述
== i模式操作 （按要求插入）

在第四行下面加入hello行linux行

在这里插入图片描述

在第四行位置插入hello行 linux行

在这里插入图片描述
c操作模式 （按要求改变行）

把#开头的行全部变成westos

在这里插入图片描述

把#开头的行全变成westos然后把结果插入fstab中

在这里插入图片描述
w模式操作 按要求写入行

将UUID开头的内容写入file文件

在这里插入图片描述
sed其他用法

显示以UUID开头的行是第几行，并且不输出原文

在这里插入图片描述

不但显示第几行，还显示原文

在这里插入图片描述

显示一共有多少行，且输出原文内容

在这里插入图片描述

 将test中的内容加到fstab文件中的第六行下
 vim test

在这里插入图片描述
在这里插入图片描述

把test中的内容加到fstab的结尾

在这里插入图片描述

cat test > fstab 直接导入会覆盖fstab原来的内容

在这里插入图片描述

sed '$r test' fstable -i  修改fstable中的内容

在这里插入图片描述

awk报告生成器

awk处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性的工作，然后将结果展现给用户

在命令格式上分别体现如下：
BEGIN{}：读第一行文本前执行，一般用来初始化操作
{}：逐行处理，逐行读如文本执行相应的处理，是最常见的编辑指令
END{}：处理完最后一行文本之后执行，一般用来输出处理

awk是一个优良的文本处理工具，Linux及Unix环境中现有的最强的数据处理引擎之一
用命令可以查看正在应用的awk来源 ls -l /bin/awk

在这里插入图片描述
linux上默认适用的是gawk，其余的还有nawk。

awk的基本用法
复制/etc/passwd 到/mnt中 删除掉后面的行数，只留前面

指定分隔符，打印passwd文件以：为分隔符的第一列字符

在这里插入图片描述
打印第一列和第一列，不出现：分割符
在这里插入图片描述

打印第2列

在这里插入图片描述

打印第二列，并且在最前面加上linux，在最后面加上westos

在这里插入图片描述

在第二列后面均写上1

在这里插入图片描述

打印第二列，并且编号

在这里插入图片描述

把编号写在第一列前面

在这里插入图片描述

在第一列前面加上编号，并且在底下写入END

在这里插入图片描述

在passwd结尾输出行数

在这里插入图片描述

在passwd结尾处输入列数

在这里插入图片描述

输出包含bash行的第一个字符

在这里插入图片描述

passwd第三行

在这里插入图片描述

passwd 3456行

在这里插入图片描述

passwd4和6行

在这里插入图片描述

passwd输出文件名字，有多少行输出多少次

在这里插入图片描述

passwd输出行

在这里插入图片描述

输出a+12的值

在这里插入图片描述

输出以a-d开头的行

在这里插入图片描述

输出不是以a-d开头的行

在这里插入图片描述

输出以root开头且以bash结尾的行

在这里插入图片描述

输出以r开头或者以bash结尾的行

在这里插入图片描述

打印第六列含有bin的行

在这里插入图片描述

打印第六列不含bin的行

在这里插入图片描述

Rapig1
关注
shell中的文本处理正则表达式(grep+sed+awk)
bread_winner的博客
08-22 366
grep文本过滤命令 grep用于shell脚本时，如果模板搜索成功返回0，不成功返回1，搜索文件不存在返回2 名称 方法 搜索file中的xxx grep  xxx  file 只输出匹配行的计数 grep -c  xxx  file 不区分大 小写(只适用于单字符) grep -i  xxx  file 查询多文件时不显示文件名 grep -h  xxx  file...
linux正则表达式及文本处理三剑客grep、sed、awk
qq_50685659的博客
07-09 497
Linux正则表达式Linux文本处理三剑客之grepLinux文本处理三剑客之sedLinux文本处理三剑客之awk
Shell编程之正则表达式-grep、sed、awk
Zlwriii的博客
09-14 249
前言 Sed是文本处理工具，可以读取文本内容，根据指定条件对数据进行添加、删除、替换等操作，被广泛用于Shell脚本。Awk是一个功能强大的编辑工具，用于在Linux下对文本和数据进行处理。 一、正则表达式的概述 正则表达式分为基础正则表达式(BRE)和扩展正则表达式(ERE)，它不是一个工具程序，而是一个字符串处理的标准依据，是使用单个字符串搜索、匹配一系列符合某个语法规则的字符串。 支持正则表示的工具 文本处理工具 基础正则表达式 扩展正则表达式 vi编辑器 支持
shell正则表达式（grep、sed、awk）
ZGGHUAN
06-21 988
grep sed [root@localhost mnt]# vim userfile [root@localhost mnt]# vim passfile [root@localhost mnt]# cat userfile user1 user2 user3 [root@localhost mnt]# cat passfile user1123 user2123 user3123 ...
Shell 编程之文本处理三剑客与正则表达式
jxc001102的博客
09-14 389
文章目录1. 正则表达式1.1 正则表达式概述1.2 基本正则表达式元字符(1) 字符匹配(2) 匹配次数(3) 位置锚定(4) 分组(5) 或者(6) 非打印字符1.3 扩展正则表达式(1) 字符匹配(2) 次数匹配(3) 位置锚定(4) 其它2. 文本处理三剑客2.1 文本处理三剑客之 grep2.2 文本处理三剑客之 sed(1) sed 概述(2) sed 基本用法(3) sed 高级用法2.3 文本处理三剑客之 awk(1) awk 概述(2) 动作 print(3) awk变量① 内置变量②
shell脚本三剑客——之正则表达式grep
著名艺术家
08-27 313
接下来我们将开始介绍一个很重要的概念——正则表达式可以和我一起敲，我在文章中准备了一份文档正则表达式的定义◆基础正则表达式◆下面的操作需要提前准备一个名为 1.txt 的测试文件◆元字符介绍◆全是实操命令 可以和我一起敲，我在文章中准备了一份文档 正则表达式的定义 正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特
Shell正则表达式之grep、sed、awk实操笔记
09-15
本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用它们，可以高效地完成文本搜索、替换、格式化等任务。 #### 二、...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
大佬凑合看吧 简单shell命令
xushunmeng的博客
12-09 326
兄弟们冲冲冲 点赞加评论
正则表达式与文本编辑器的应用的个人理解
weixin_49228079的博客
10-17 335
一、正则表达式 1.1正则表达式： 是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说，是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式是由普通字符与元字符组成的文字模式 1.2用途： 正在表达式对于系统管理员来说是非常重要的，系统运行过程中会产生大量的信息，这些信息有些事非常重要的，有些则只是告知的信息，身为系统管理员如果直接看这么多的信息数据，无法快速定位到重要的信息，如“用户登录失败”等信息，这是可以通过正则表达式快速提取有问题的信
shell正则表达式基本用法grep、sed、awk （附脚本代码演示）
qq_22356995的博客
04-14 289
一、正则表达式 它是一种文本模式匹配（a到z之间字母和特殊字符---元字符）； 它是一种字符串匹配的模式，可以检查一个字符串是否含有某种子串、把要匹配的子串替换 或者 是从某个字符串中 提取某个条件的子串； 它就像一个数学公式一样，我们通过它来生成一个公式从海量的数据中匹配出需要的数据； 常见的命令有 grep、sed、awk。 新建个测试...
Shell编程三剑客之grep正则表达式
weixin_34343689的博客
02-24 124
1.grep命令 grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 Unix的grep家族包 括grep、egrep和fgrep。其中egrep是grep的扩展...
linux系统——shell编程文本处理三剑客之正则表达式
qq_46424955的博客
09-08 195
linux系统——shell编程之文本处理三剑客 awk —— 切片 sed —— 更改 grep —— 筛选 同时正则表达式作为辅助工具 - 正则表达式 正则示例： #!/bin/bash read -p "几个？ " aaa if [[ ! $aaa =~ ^[0-9]+$ ]] \\判断运用正则表达式，判断输入的是否为0-9开头 +一个到多个 then echo cuowu exit 90 else for i in `seq $aaa` do useradd user$i don
shell中的文本处理正则表达式（grep+sed+awk：俗称linux中的三剑客）
ymeng9527的博客
06-05 597
1.什么是正则表达式？ 正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本 许多程序设计语言都支持利用正则表达式进行字符串操作，例如，在Perl中就内建了一个功能强大的正则表达式引擎 正则表达式这个概念最初是由Unix中的工具软件（例如sed和...
带你了解shell脚本三剑客之sed 、grep工具
繁星若渺的博客
11-11 546
目录1、正则表达式定义2、基础正则表达式元字符3、sed 工具 1、正则表达式定义 ■ 正则表达式，又称正规表达式、常规表达式 ■ 使用字符串来描述、匹配一系列符合某个规则的字符串 ■ 正则表达式组成 ● 普通字符 ◆ 大小写字母、数字、标点符号及一些其他符号 ● 元字符 ◆ 在正则表达式中具有特殊意义的专用字符 ■ 正则表达式层次 ● 基础正则表达式 ● 扩展正则表达式 ■ Linux中文本处理工具 ● grep ● egrep ● sed ● awk 2、基础正则表达式元字符 ■ 基础正则表达式是常用的
shell中的文本处理正则表达式（grep+sed+awk linux三剑客）
qq_42024433的博客
02-16 373
1.正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一定字符、及这些特定字符的组合，组成一个“规则字符串”这个“规则字符串”用来表达对字符串的一种过滤逻辑 正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表...
Shell编程----正则表达式与三剑客
LPFAM的博客
07-26 724
文章目录前言一：基础正则表达式1.1：正则表达式的定义1.2：正则表达式用途1.3：基础正则表达式1.4：基础正则表达式：grep命令1.4.1：查找特定字符1.4.2：利用中括号“[]”来查找集合字符1.4.3：查找行首“^”与行尾字符“$1.4.4:查找任意一个字符“.”与重复字符“*”1.4.5:查找前面连续字符范围“{}”1.5：元字符总结二：扩展正则表达式2.1：扩展正则表达式概述：egrep命令2.2：扩展正则表达式常见元字符2.3：正则表达式总结三：文本处理器四：sed工具使用方法4.1：se
自学shell编程——第5讲（正则表达式+grep、sed、awk的使用）
weixin_44616693的博客
04-18 330
自学shell编程——第5讲（正则表达式+grep的使用） 这是shell编程语言，python语言重点的部分。比较好理解，但是难应用，要多多练习，有时候会事半功倍。 1. 正则表达式RE RE本质上是特殊符号组成的一个式子，帮助你模糊查询 可以用到RE的地方很多，常见的命令有grep。当然，在某些情况下也可以用。比如，你想删除这个目录下，所有以.sh结尾的文件。你可以使用rm *.sh。 grep标准使用格式：** grep 正则表达式 寻找对象文件 参数 。这样查找的结果会直接输出到终端，你后面可以使
Shell脚本：掌握正则表达式与grep、sed、awk
本文主要介绍了在Shell脚本中如何使用正则表达式、grep、sed和awk这四个工具进行文本处理和数据操作。通过学习这些基础概念和语法，你可以更有效地在Linux环境中处理命令行任务。 正则表达式是文本处理的核心工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值