【9.19】正则表达式——sed、awk

最新推荐文章于 2023-08-14 11:16:58 发布
最新推荐文章于 2023-08-14 11:16:58 发布
阅读量698 收藏
点赞数
分类专栏： 学习笔记 文章标签： sed awk NR NF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arsenal4life/article/details/101034701
版权
本文深入讲解了Linux文本处理工具sed和awk的使用，包括匹配、打印特定行、替换功能以及awk的数学运算表达式和字段比较。通过实例演示了如何利用sed实现grep的功能，以及awk在处理分隔符、匹配和数学运算上的应用。
摘要由CSDN通过智能技术生成

【9.19】正则表达式——sed、awk


https://blog.51cto.com/11530642/2376266

9.4/9.5 sed

  • sed 的优势在于替换指定的字符
    sed 如何实现 grep 的功能？

  • sed '/关键词/'p 文件（p不可少） 匹配关键字，类似于 grep

  • sed '数字’p 文件 打印具体一行

常用选项 含义
-n 静默输出（–quite --silent）
-r 脱义
-e 一个表达式做多个操作
-i 删除文件中的内容
p print 打印
d delete 删除

  • 1、sed 匹配

过滤出含有 root 的行

[root@arslinux-01 sed]# sed -n '/root/'p test.txt
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
  • 过滤出 r*t 的行
[root@arslinux-01 sed]# sed -n '/r*t/'p test.txt
root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
roooooooooooooooot
  • -r 脱义，+ 作为符号，前方的 o 出现 1 次或多次
[root@arslinux-01 sed]# sed -nr '/o+t/'p test.txt
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
roooooooooooooooot
  • o 出现 2 次
[root@arslinux-01 sed]# sed -nr '/o{2}/'p test.txt
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/NOlogin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
roooooooooooooooot
  • | root 或者 bus
[root@arslinux-01 sed]# sed -nr '/root|bus/'p test.txt
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin

  • 2、sed打印具体行数

  • 打印第 2 行
[root@arslinux-01 sed]# sed -n '2'p test.txt
bin:x:1:1:bin:/bin:/sbin/nologin
  • 打印 2 到 5 行
[root@arslinux-01 sed]# sed -n '2,5'p test.txt
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/NOlogin

打印 25 到末行

[root@arslinux-01 sed]# sed -n '25,$'p test.txt
user4:x:1006:1005::/home/arslinux:/sbin/nologin
user5:x:1007:1007::/home/user5:/bin/bash
user6:x:1008:1010::/home/user6:/bin/bash
roooooooooooooooot
  • 打印所有行
[root@arslinux-01 sed]# sed -n '1,$'p test.txt
  • sed -e 一个表达式做多个动作
  • 打印出第一行的同时，匹配 bus 的行
[root@arslinux-01 sed]# sed -e '1'p -e '/bus/'p -n test.txt
root:x:0:0:root:/root:/bin/bash
dbus:x:81:81:System message bus:/:/sbin/nologin

如果 -e 操作的前方和后方操作结果一样，那么会打印两次

[root@arslinux-01 sed]# sed -e '1'p -e '/root/'p -n test.txt
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
  • 匹配三个关键字
[root@arslinux-01 sed]# sed -e '1'p -e '/root/'p -e '/oo*/'p -n test.txt
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/NOlogin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
ada:ro.odaf
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
arslinux:x:1000:1000::/home/arslinux:/bin/bash
user1:x:1001:1001::/home/user1:/bin/bash
user2:x:1002:1006::/home/user2:/bin/bash
user3:x:1004:1005::/home/user3:/bin/bash
user4:x:1006:1005::/home/arslinux:/sbin/nologin
user5:x:1007:1007::/home/user5:/bin/bash
user6:x:1008:1010::/home/user6:/bin/bash
roooooooooooooooot
  • 不区分大小写，在 p 前加大写 I
[root@arslinux-01 sed]# sed -n '/bus/'Ip test.txt
BUSnobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
  • 删除指定的行（只是在结果中删除）
    删除 1 到 25 行，把其余显示出来
[root@arslinux-01 sed]# sed '1,25'd test.txt
user5:x:1007:1007::/home/user5:/bin/bash
user6:x:1008:1010::/home/user6:/bin/bash
roooooooooooooooot

如果想删除前 5 个月的日志，只保留最近一个月的日志，那么可以 grep -n 利用时间戳，过滤出要删除的行的行号，然后通过 sed '行数’d 来删除

  • 在文件中删除指定的行
  • sed -i '数字’d 文件 删除指定的行
[root@arslinux-01 sed]# cp test.txt test.txt.bak
[root@ar
最低0.47元/天 解锁文章
张森纳
关注
专栏目录
awk 内嵌正则 提取字符串_使用awk提取字符串中的数字或字母
weixin_30581253的博客
12-24 802
1.提取字符串中的数字$ echo 'dsFUs34tg*fs5a%8ar%$#@' |awk -F "" '{for(i=1;i<=NF;i++){if ($i ~ /[[:digit:]]/){str=$istr1=(str1 str)}}print str1}'输出3458或$ echo 'dsFUs34tg*fs5a%8ar%$#@' |awk -F "" '{for(i=1;i&l...
sed 正则表达式
痴迷无限好
12-24 364
cat hotdog |sed 's/[0-9]//g'|sort|uniq -c|sort -nr -k2|more 1 正则表达式简介 正则表达式（Regular Expression）是一种描述文本（或字符串）模式的工具。正则表达式常用于查找文本的场合。想想一下我们日常生活中的例子，假如你想从电话本里找一个联系人的电话，而你又想不起联系人名字的准确拼法，你可以把电话本从头到尾翻...
正则awk
aaahai的博客
08-18 516
awk -F 指定分割符 awk -F ': ' '{print $1}' 1.txt 以冒号为分隔符 打印第一段 print为打印的意思。 $1表示打印第1字段 $0表示整行 截取多个字段 中间以逗号来分隔 不加-F选项，默认使用空格或者tab为分隔符，   awk -F ':' '{print $1"#"$3"#"$5}' 1.txt 以井号为分隔符 打印 1 ，3, 5 段 ...
sed正则表达式
yihanzhi的博客
10-30 1749
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法 sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STD
awk正则匹配
热门推荐
langlang2671的专栏
11-12 1万+
扩展的正则表达式（Extended Regular Expression 又叫 ExtendedRegEx 简称 EREs）。  一、awk Extended Regular Expression (ERES)基础表达式符号介绍 +指定如果一个或多个字符或扩展正则表达式的具体值（在 +（加号）前）在这个字符串中，则字符串匹配。命令行： awk '/smith+ern/'testfile 将
ANSI_X9.19_MAC算法类
11-21
原创：ANSI_X9.19_MAC算法。 ANSI X9.19MAC算法只使用双倍长密钥。
Ghostscript 版本9.19
12-30
ghostscript,用于PDF到图片的转换,本压缩包包含x86和x64版本
C#开发ANSI X9.9 MAC 与 ANSI X9.19 MAC验证
09-19
C#语言开发ANSI X9.9 MAC 与 ANSI X9.19 MAC验证，里面只有一个类，调用即可。 ？为什么要写100个字？ 为什么要写100个字？
JSVM_9_19_9.rar_IEC_JSVM 9.19.15_linux manual
09-24
JSVM Software Manual Version: JSVM 9.15 (CVS tag: JSVM_9_15) Last update: September 24th, 2008 Summary: This document contains a detailed description of the usage and configuration of the JSVM ...
awk匹配输出正则部分
zcc_0015的专栏
06-20 9741
hadoop fs -ls hdfs://zhihu-tc:8020/user/hive/warehouse/ad_trigger.db/*??/|awk '{match($NF,/.*([0-9]{8}).*/,a); print $0}'
awk/grep正则匹配-找出以逗号分隔的数字列表
joseph_chan的专栏
07-25 8695
echo 15071700684902925088,15071700540402510152,15071700291812115134| awk '{match($0,"([0-9]+[,]+)*([0-9]+)",a)}END{print a[0]}' $0表示前面的字符串内容，([0-9]+[,]+)*([0-9]+)是整个正则表达式，表示匹配项存在0个或者多个数据和逗号组合项，考虑到单个匹
awk 使用正则表达式
说文科技，做有态度的研究。
12-21 5289
awk 使用正则表达式 1. 正则表达式 2. awk命令 3. 在awk中使用正则表达式 3.1 实战案例1 [root@server4 temp]# echo "Abaidu.comB" | awk '/^A.*?B/'{print} Abaidu.comB 这里解释一下这个正则表达式。 ^A.*?B 指的是：以A 字符开头； .* 指的是任意字符可以出现任意次；? 表示之前的字符串必须匹配...
正则表达式 —— Awk
最新发布
五彩斑斓的黑@的博客
08-14 2060
awk -F：'$3>10{print}' /etc/passwd | head -n 15 把passwd第三列大于10的全打印出来。awk -F：'{if ($3=10) {print}}' /etc/passwd 打印第三列等于10的内容。awk的格式：awk 选项 '模式或条件{操作}' 文件 在awk中操作默认就是打印。例：awk -F：'$7~"bash" {print $1,$NF}' /etc/passwd。
正则表达式+sed用法
weixin_45971087的博客
01-07 1175
什么是正则表达式? 使用"一串符号"来描述有共同属性的数据 使用某些符号结合相关工具对文本进行筛选,过滤,查找 基本正则列表 正则符号 含义 ^ 匹配行首 $ 匹配行尾 [ ] 集合,匹配集合中任意单个字符 [x-y] 匹配连续的字符串范围 [^] 对集合取反 . 匹配任意单个字符(空格) * 匹配前一个字符任意次数...
Sed 命令详解 与 正则表达式
qq_43812373的博客
11-21 745
Sed 命令详解 & 正则表达式 ljzcom 2018-03-16 08:23:42 8148 收藏 82 分类专栏： Shell Linux 1.简介 sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。 sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时
linux awk 模式匹配,linux awk 正则表达式、正则运算符详细介绍
weixin_36046702的博客
05-14 493
使用awk作为文本处理工具，正则表达式是少不了的。 要掌握这个工具的正则表达式使用。其实，我们不必单独去学习它的正则表达式。正则表达式就像一门程序语言，有自己语法规则已经表示意思。 对于不同工具，其实大部分表示意思相同的。在linux众多文本处理工具(awk,sed,grep,perl)里面用到正则表达式。其实就只有3种类型。详细可以参考：linux shell 正则表达式(BREs,EREs,P...
linux shell awk正则匹配,[Shell] awk学习(3)-regular expression 正则表达式
weixin_34418334的博客
05-15 537
A regular expression is used as a pattern by enclosed it in slashes.^ :this matches the begining of a string (awk '/^J/' ff2 :以J开头)$ :this matches only at the end of the string (awk '/7$/' ff2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值