文本三剑客&正则表达式3

最新推荐文章于 2024-10-18 17:42:06 发布
最新推荐文章于 2024-10-18 17:42:06 发布
阅读量668 收藏
点赞数
分类专栏： shell脚本 文章标签： 正则表达式 服务器 运维 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76382484/article/details/130781482
版权

文章目录

文本三剑客&正则表达式3

1 awk工作原理

  • sed命令常用于一整行的处理

    • 而awk比较**倾向于将一行分成多个“字段”**然后再进行处理
      • 且默认情况下字段的分隔符为空格或 tab 键

  • awk 执行结果可以通过 print 的功能将字段数据打印显示

2 awk的基本格式及其内置变量

2.1 基本格式

awk 选项 '模式或条件 {操作}' 文件1 文件2...

  • F “分隔符”

    • 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符

  • v(小v) var=value 变量赋值

注意一定是单引号

‘模式或条件 {操作}’

{ }外指定条件，{ }内指定操作

用逗号指定连续的行、用 || 指定不连续的行、**&&**表示”且“

2.2 内置变量

内建变量，不能用双引号括起来，不然系统会把它当成字符串

内置变量意义
$0当前处理的行的整行内容
$n当前处理行的第n个字段（第n列）
NR当前处理的行的行号（序数）
NF当前处理的行的字段个数,##$NF代表最后一个字段
FS指定每行文本的字段分隔符，输入内容的分隔符 默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:，用FS必须用=“”
OFS输出内容的列分隔符
FILENAME被处理的文件名
RS行分隔符

2.3 示例

2.3.1 直接打印所有内容

在这里插入图片描述
在这里插入图片描述

2.3.2 取每一行的第一列

在这里插入图片描述

2.3.3 打印行号，及所有内容

在这里插入图片描述

2.3.4 打印第三行

在这里插入图片描述

2.3.5 打印2-4行

在这里插入图片描述

2.3.6 打印第2行和第4行

在这里插入图片描述

2.3.7 用正则表达式打印2-4行

在这里插入图片描述

2.3.8 打印偶数行

在这里插入图片描述

2.3.9 打印奇数行

在这里插入图片描述

3 awk的运算

可以进行小数和整数的运算

还能进行幂的计算

3.1 算100+200的和

在这里插入图片描述

3.2 求3的2次方

在这里插入图片描述

4 getline

4.1 getline的工作过程

  • 当getline左右**无重定向符号（“<”）或者管道符号（“|”）**时

    • awk首先读取的是第一行，
    • 而getline获取的是光标跳转至下一行的内容（也就是第二行）

  • 当getline左右有管道符号或重定向符时

    • getline则作用定向输入文件，由于文件是刚打开，并没有被awk读入一行,而只是getline读入，所以getline返回的是文件的第一行，而不是跳转至一行输入

原因：getline运行之后awk会改变NF,NR,$0，FNR等内部变量，所以此时读取$0的行号不再为1，而是2

4.2 示例

4.2.1 打印偶数行

在这里插入图片描述

4.2.2 打印奇数行

在这里插入图片描述

4.2.3 把test1的内容传给函数getline，getline获取后把他打印出来并传给test

在这里插入图片描述

4.2.4 把ls的结果传给函数getline后，赋值给变量line，并把line的值打印出来

在这里插入图片描述

5 文本内容匹配过滤打印

5.1 打印出以root开头的

在这里插入图片描述

5.2 打印出以bash结尾的

在这里插入图片描述

6 BEIGIN模式指定BEGIN打印模式

格式：awk 'BEGIN{...};{...};END{...}' 文件

6.1 处理过程

  1. 在awk处理指定的文本之前，需要先执行BEGIN{…}模式里的命令操作

  2. 中间的**{…} 是真正用于处理文件的命令操作**

  3. 在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句。

x的变量范围是根据文本中内容的行数来的

在这里插入图片描述

7 对字段进行处理打印

7.1 以：为分隔符，打印第一列

7.2 -v的用法：变量赋值

7.2.1 将输入的时候的分隔符：改成+输出，打印第一列和第三列

在这里插入图片描述

7.2.2 以：为分隔符，换行输出

#默认就是换行输出，不需要改

在这里插入图片描述

7.3 BEIGIN模式指定打印内容

以：为分隔符打印第一列

在这里插入图片描述

7.4 条件判断打印

7.4.1 如果第三列uid大于500，打印出来

在这里插入图片描述

7.4.2 如果第三列uid不大于500，打印出来

在这里插入图片描述

8 awk的三元表达式与精准筛选用法

awk的三元表达式继承了java的用法，格式与Java相似

格式：awk '(条件表达式)?(A表达式或者值):(B表达式或者值)'

以：为分隔符，如果$3大于$4,则打印$3，否则打印$4
在这里插入图片描述

awk的精准筛选

$n(> < ==): 用于对比数值

$n~"字符串": 代表第n个字段包含某个字符串

$n!~"字符串": 代表第n个字段不包含某个字符串

$n=="字符串": 代表第n个字段为某个字符串

$n!="字符串": 代表第n个字段不为某个字符串

$NF: 代表最后一个字段

8.1 输出第七个字段包含“bash”所在行的第一个字段和最后一个字段

在这里插入图片描述

8.2 输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段

在这里插入图片描述

8.3 输出第六个字段为/home/qiao,第七个字段为/bin/bash的这些行的第一列和最后一列

在这里插入图片描述

8.4 指定输出的分隔符

  • OFS：输出内容的列分隔符（ n = n= n=n用于激活，否则不生效，n必须存在）

  • 对于输出时改变分隔符，我们常用到tr，awk，它们都可以实现在输出内容改变原本的分隔符
    在这里插入图片描述
    在这里插入图片描述

9 数组

9.1 定义数组打印

在这里插入图片描述

9.2 awk中的数组形成遍历,在awk中打印变量不需要加$

在这里插入图片描述

9.3 数组去重

  1. 索引号可以是数字，字符

  2. 统计索引号出现的次数

  3. 遍历行数

9.4 索引号是文本里面的内容，对索引号进行计数

在这里插入图片描述

Ravenich
关注
专栏目录
文本三剑客之正则表达式
Weiran_001的博客
05-04 209
前言 Linux命令中，可以使用通配符替代或者识别某一些文件名，通常用于模糊查询的场景 正则表达式与通配符类似，但是匹配的准确度比通配符更高 正则表达式组成： 普通字符：大小写字母、数字、标点符号及一些其他符号 元字符：在正在表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符或表达式）在目标对象中的出现模式 一、 基础正则表达式常见元字符 (支持的工具: grep、egrep、sed、 awk) 注: egrep、 awk使用{n}、{n,}、{n, m}.
【三剑客和正则表达式】
itboy_szjj的博客
05-23 514
三剑客和正则表达式
正则表达式之文本三剑客
MCB134的博客
01-29 1250
sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中。
正则表达式和文本三剑客AWK
weixin_66305388的博客
11-28 105
正则表达式（Regular Expression）是一种用来匹配和操作文本的模式。它是由字符和特殊字符组成的字符串，用来描述和匹配一系列符合某种模式的字符串。与通配符不同，通配符功能是用来处理文件名，而正则表达式是处理文本内容中字符。正则表达式被很多程序和开发语言所广泛支持：vim, less,grep,sed,awk, nginx,mysql 等正则表达式主要用来匹配字符串（命令结果，文本内容）
正则表达式，linux文本三剑客
s320721的博客
06-23 646
正则表达式匹配的是文本内容，linux的文本三剑客都是针对文本内容，按行进行匹配。
文本编辑命令和正则表达式
JeremyHao07的博客
06-24 691
一、 编辑文本的命令正则表达式匹配的是文本内容，Linux的文本三剑客，都是针对文本内容。文本三剑客grep：过滤文本内容sed：针对文本内容进行增删改查 （本文不相关）awk：按行取列 （本文不相关）文本三剑客都是按行进行匹配。1.1 grep命令grep的作用就是使用正则表达式来匹配文本内容。选项：-m：匹配几次之后停止，一行有多个匹配的内容也仅视为一次匹配-v：取反，所有不包含匹配内容的行-n：显示匹配内容所在的行号-c：仅统计匹配的行数-o：仅显示匹配的内容。
文本编辑正则表达式
2301_79410672的博客
09-24 106
Cut -d ：指定分隔符，可以截取字段， cut -d ‘ : ’ -f 1-3 /etc/passwd ,cut -d ‘ : ’ -f 1,3 /etc/passwd 以冒号分割符截取1和3列 ,有一个日志文件----nginx -----nginx.log-------5G，有什么方法提高这个文件的打开速度 split命令对文件进行拆分。Grep -e:逻辑或的关系，grep -e “root” -e “bash” -e “dn” /etc/passwd。
文本三剑客grep与正则表达式、元字符
2301_78349092的博客
05-06 1176
了解这些元字符及其含义对于掌握正则表达式至关重要。在实际应用中，我们经常需要结合记忆、示例学习和案例练习来熟练掌握它们的使用。通过不断实践，我们可以构建出复杂的正则表达式，以高效地处理文本匹配和数据提取任务。元字符使得正则表达式能够以更灵活和动态的方式来匹配文本。2.扩展正则表达式元字符串。
06-文本处理工具&正则表达式
2303_78006750的博客
06-22 917
命令模式，又称为Normal模式，功能强大，只是此模式输入指令并在屏幕上显示，所以需要记忆大量 的快捷按键才能更好的使用。有26个命名寄存器和1个无命名寄存器，常存放不同的剪贴版内容，可以在同一个主机的不同会话（终端窗口）间共享。分组的正则：\(\) 将多个字符捆绑在一起，当作一个整体处理，如：\(root\)+寄存器名称a，b,…扩展命令模式 ----ESC,enter----> 命令模式。在末行有”-- VISUAL -- “指示，表示在可视化模式。命令模式 ---- : ----> 扩展命令模式。
文本三剑客之grep及正则表达式 -.pdf
07-28
### 文本三剑客之grep及正则表达式 #### 1. grep 命令简介 - **定义**：`grep` 是 Linux 和 Unix 系统中的一种强大的文本搜索工具，它能够使用正则表达式来搜索文本，并将匹配的行打印出来。其全称是 Global ...
文本处理工具和正则表达式
07-05
### 文本处理工具和正则表达式的综合指南 #### 一、文本编辑工具VIM **1.1 vi和vim简介** 在Linux环境下，我们常常需要编辑文本文件，这些文件通常是由ASCII、Unicode或其他编码组成的纯文本文件。尽管之前介绍过...
Python_函数式编程(正则表达式)
2301_80241120的博客
10-14 417
1111</div><div>2222</div>正则表达式:<div>.+</div>贪婪模式:.+匹配结果是:<div>1111</div><div>2222</div>非贪婪模式:.+?匹配结果是:<div>1111
正则表达式：从入门到精通
TechEnthusiast的博客
10-13 251
正则表达式是由一系列字符和特殊符号组成的模式，用于匹配、搜索和操作文本。\d：匹配任意数字，等同于[0-9]\D：匹配任意非数字字符，等同于[^0-9]\w：匹配任意字母、数字或下划线，等同于\W：匹配任意非字母、数字或下划线的字符\s：匹配任意空白字符（空格、制表符、换行符等）\S：匹配任意非空白字符\d{3} // 匹配三个连续的数字\w+ // 匹配一个或多个字母、数字或下划线\s* // 匹配零个或多个空白字符。
字符串及正则表达式
2302_80700357的博客
10-16 432
2.f-string:Python3.6引入的格式化字符串的方式，比{}标明被替换的字符。将bytes类型转换成str类型，需要使用到bytes类型的decode()方法。1.占位符：%s :字符串格式 %d :十进制整数格式 %f :浮点数格式。3.str.format()方法:模板字符串.format(逗号分隔的参数)将str类型转换成bytes类型，需要使用到字符串的encode()方法。2、使用字符串的join（）进行拼接。1.字符串拼接及not in。4、用格式化字符串进行拼接。
正则表达式re简介
Mike_detailing的博客
10-14 646
Python中的正则表达式（Regular Expression，简称regex）是一种强大的文本处理工具，用于匹配、查找、替换等复杂文本模式。Python通过re模块提供了对正则表达式的支持。
正则表达式
i8013的专栏
10-16 246
首先要有一个观念：正则表达式一个语句不是完全通用的！它的行为还会受到具体编程语言或工具中正则表达式引擎实现的影响。不同的编程语言或工具可能会有细微的差别，这些差别可能会影响正则表达式的匹配结果。整文全匹：就是在整个原文中找到所有的匹配项，全匹就是不带捕获组，正则表达式一个语句捕获组是无效的，全部匹配。仅匹第一个捕获组：正则表达式带小括号()的为捕获组，一句正则表达式语句，如果含有多个小括。号()，那么第一个括号的下标为1也就是第一个捕获组。
Linux-正则表达式
captain
10-18 350
正则表达式 定义DRE模式-纯文本/特殊字符 定义DRE模式-锚字符/点号字符 定义DRE模式-字符组/排除型字符组 定义DRE模式-区间 定义DRE模式-特殊字符组 定义DRE模式-星号 扩展正则表达式-问号 扩展正则表达式-加号 扩展正则表达式-使用花括号 扩展正则表达式-管道符号/表达式分组 正则表达式实践-目录文件计数 正则表达式实践-验证电话号码 正则表达式实践-解析邮件地址
正则表达式基础学习
最新发布
Reset
10-18 830
正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"），可以用来描述和匹配字符串的特定模式。
linux三剑客与正则表达式
09-13
Linux三剑客是指grep、awk...综上所述，Linux三剑客中的grep、awk和sed都是基于正则表达式的工具，它们可以帮助我们高效地处理和分析文本数据。正则表达式的灵活性和强大功能使得三剑客工具在日常工作中得到广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值