shell脚本-文本处理三剑客

于 2024-09-11 10:48:02 发布
阅读量497 收藏 9
点赞数 18
文章标签： java 服务器 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czzwa/article/details/142062957
版权

grep

grep----过滤、筛选

grep  "字符串"
grep  -v  "字符串"
grep  ^"字符串"   以....开头
grep   "字符串"$
grep  ^$  空行
grep  -i  不区分大小写
grep  -o  只显示匹配的部分

sed

 sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用
sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。
如果没有诸如“D”的特殊命令，那会在两个循环之间清空模式空间，但不能清除保留空间。这样不断重复，直到文件末尾。
文件内容并没有改变，除非你使用重定向存储输出或-i。
选项
-n  不打印模式空间
-e  执行脚本、表达式来处理
-f  执行动作从文件读取执行
-i  修改原文件
-r  使用扩展正则表达式

命令

 s/regexp/replace/      替换字符串
p    打印当前模式空间
P（大写）    打印模式空间的第一行
d    删除模式空间，开始下一个循环
D    删除模式空间的第一行，开始下一个循环
=    打印当前行号
a  \text    当前行追加文本
i   \text    当前行上面插入文本
c  \text    所选行替换新文本
q    立即退出sed脚本
r    追加文本来自文件
h  H           复制/追加模式空间到保持空间
g  G        复制/追加保持空间到模式空间
x        交换模式空间和保持空间内容
l        打印模式空间的行，并显示控制字符$
n  N        读取/追加下一行输入到模式空间
w  filename        写入到当前模式空间到文件
！        取反、否定
&        引用已匹配字符串

 地址

first~step    从first开始，每step步输出值
$        匹配最后一行
/regexp/    正则表达式匹配行
number    只匹配指定行
addr1，addr2    开始匹配addr1行开始，直接addr2行结束
addr1，+N        从addr1行开始，向后的N行
addr1，~N        从addr1行开始，到N行结束
 

案例

[root@rhel8 ~]# cat /tmp/services 
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject

匹配打印（p）

（1）打印匹配blp5开头的行
[root@rhel8 ~]# 
[root@rhel8 ~]# cat /tmp/services | sed -n '/^blp5/p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator



（2）打印第一行
[root@rhel8 ~]# cat /tmp/services | sed -n '1p'
nimgtw 		48003/udp 	# Nimbus Gateway

（3）打印第一行至第三行
[root@rhel8 ~]# cat /tmp/services | sed -n '1,3p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services

（4）打印奇数行
[root@rhel8 ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9

（5）打印匹配行及后一行
[root@rhel8 ~]# cat /tmp/services | sed -n '/blp5/,+1p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator

（6）打印最后一行
[root@rhel8 ~]# cat /tmp/services | sed -n '$p'
iqobject 	48619/udp 	# iqobject

（7）不打印最后一行
[root@rhel8 ~]# cat /tmp/services | sed -n '$!p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject

（8）匹配范围
[root@rhel8 ~]# cat /tmp/services | sed -n '/^blp5/,/^com/p'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw

匹配blp5所在行到最后一行
[root@rhel8 ~]# cat /tmp/services | sed -n '/blp5/,$p'
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（9）引用系统变量，用引号
[root@rhel8 ~]# cat /tmp/services |sed -n ''$a',3p'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services

或者
[root@rhel8 ~]# cat /tmp/services |sed -n "$a,3p"

 删除匹配

[root@rhel8 ~]# cat /tmp/services | sed '/blp5/d'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

[root@rhel8 ~]# cat /tmp/services | sed '1d'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

[root@rhel8 ~]# cat /tmp/services | sed '1~2d'             删除奇数行
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/udp 	# iqobject

[root@rhel8 ~]# cat /tmp/services | sed '1,3d'
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

打印时把匹配的打印出来，删除时把匹配的删除，删除只是不用-n选项
练习：去除空格/etc/httpd/conf/httpd.conf文件的空行或开头#号的行
sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf

替换

（1）替换blp5字符串为test
[root@rhel8 ~]# cat /tmp/services | sed 's/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
test 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

全局替换加g
[root@rhel8 ~]# cat /tmp/services | sed 's/blp5/test/g'

（2）替换开头是blp5的字符串并打印
[root@rhel8 ~]# cat /tmp/services | sed -n 's/^blp5/test/p'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator

（3）使用&命令引用匹配内容并替换
[root@rhel8 ~]# cat /tmp/services | sed  's/48049/&.123/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049.123/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

ip加引号
[root@rhel8 ~]# echo '10.10.10.1 10.10.10.2 10.10.10.3' | sed -r 's/[^ ]+/"&"/g'
"10.10.10.1" "10.10.10.2" "10.10.10.3"

（4）对1-5行的blp5进行替换
[root@rhel8 ~]# cat /tmp/services | sed  '1,5s/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（5）对匹配行进行替换，先匹配出来48129/tcp所在行，然后再将改行的blp5字符串替换为test
[root@rhel8 ~]# cat /tmp/services | sed '/48129\/tcp/s/blp5/test/'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（6）二次匹配替换
[root@rhel8 ~]# cat /tmp/services | sed 's/blp5/test/;s/3g/4g/'
nimgtw 		48003/udp 	# Nimbus Gateway
4gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
test 			48129/tcp 	# Bloomberg locator
test 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（7）分组使用
[root@rhel8 ~]# cat /tmp/services | sed -r 's/(.*)(480.*)(#.*)/\1\2test \3/'
nimgtw 		48003/udp 	test # Nimbus Gateway
3gpp-cbsp 		48049/tcp 	test # 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

（8）将协议与端口号位置互换
[root@rhel8 ~]# cat /tmp/services | sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
nimgtw 		udp/48003 	# Nimbus Gateway
3gpp-cbsp 		tcp/48049 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		tcp/48128 	# Image Systems Network Services
isnetserv 		udp/48128 	# Image Systems Network Services
blp5 			tcp/48129 	# Bloomberg locator
blp5 			udp/48129 	# Bloomberg locator
com-bardac-dw 	tcp/48556 	# com-bardac-dw
com-bardac-dw 	udp/48556 	# com-bardac-dw
iqobject 		tcp/48619 	# iqobject
iqobject 		udp/48619 	# iqobject

（9）位置调换
[root@rhel8 ~]# echo "abc cde xyz" | sed -r  's/(.*)x/\1X/'
abc cde Xyz
[root@rhel8 ~]# echo "abc cde xxyxz" | sed -r  's/(.*)x/\1X/'
abc cde xxyXz
[root@rhel8 ~]# echo "abc cde xxyxz" | sed -r  's/(.*)y/\1Y/'
abc cde xxYxz

将cde和456互换位置
[root@rhel8 ~]# echo "abc:cde;123:456" | sed -r 's/([^:]*)(;.*:)([^:]+$)/\3\2\1/'
abc:456;123:cde

（10）注释匹配行后的多少行
[root@rhel8 ~]# seq 10 |sed '/5/,+3s/^/#/'
1
2
3
4
#5
#6
#7
#8
9
10

（11）注释指定多行
[root@rhel8 ~]# seq 5 |sed -r '/^3|^4/s/^/#/'
1
2
#3
#4
5
[root@rhel8 ~]# seq 5 |sed -r 's/^3|^4/#&/'
1
2
#3
#4
5

多重编辑

删除1-4行，并将剩余行的blp5替换为test
[root@rhel8 ~]# cat /tmp/services | sed -e '1,4d' -e 's/blp5/test/'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

或
[root@rhel8 ~]# cat /tmp/services |sed '1,4d;s/blp5/test/'
test 		48129/tcp 	# Bloomberg locator
test 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject


案例5：添加新内容（a、i、c）
（1）在blp5上一行添加test------------i
[root@rhel8 ~]# cat /tmp/services |sed '/blp5/i \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
test
blp5 		48129/tcp 	# Bloomberg locator
test
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
[root@rhel8 ~]#

（2）在blp5下一行添加test-----------------a
[root@rhel8 ~]# cat /tmp/services |sed '/blp5/a \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
test
blp5 		48129/udp 	# Bloomberg locator
test
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（3）将blp5所在行替换为新行test-------------------c
[root@rhel8 ~]# cat /tmp/services |sed '/blp5/c \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
test
test
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（4）在指定行的下一行添加一行
[root@rhel8 ~]# cat /tmp/services |sed '2a \test'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
test
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

（5）在指定行前面和后面添加一行
[root@rhel8 ~]# seq 5 |sed '3s/.*/txt\n&/'
1
2
txt
3
4
5
[root@rhel8 ~]# seq 5 |sed '3s/.*/&\ntest/'
1
2
3
test
4
5

读取文件并追降价到匹配行中

[root@rhel8 ~]# cat a.txt
123
456


[root@rhel8 ~]# cat /tmp/services | sed '/blp5/r a.txt'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
123
456
blp5 		48129/udp 	# Bloomberg locator
123
456
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

将匹配行写道文件（w）

[root@rhel8 ~]# cat /tmp/services | sed '/blp5/w b.txt'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject

[root@rhel8 ~]# cat b.txt
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator

读取下一行（n和N）

n 读取下一行到模式空间。
N 追加下一行内容到模式空间，并以换行符\n 分隔。

（1）打印匹配的下一行
[root@rhel8 ~]# seq 5 |sed -n '/3/{n;p}'
4

（2）打印偶数
[root@rhel8 ~]#  seq 6 |sed -n 'n;p'
2
4
6

sed 先读取第一行 1，执行 n 命令，获取下一行 2，此时模式空间是 2，执行 p 命令，打印模式空
间。 现在模式空间是 2，sed 再读取 3，执行 n 命令，获取下一行 4，此时模式空间为 4，执行 p 命
令，以此类推。

（3）打印奇数
[root@rhel8 ~]#  seq 6 |sed    'n;d'
1
3
5
读取1，执行n，得出2，执行d，删除2，得空，以此类推，读取3，执行n，得出4，
执行d，删除4，得空，但是读取5时，得出6，执行d，删除6。
因无-n参数，故输出1\n3\n5

[root@rhel8 ~]#  seq 6 |sed -n   'p:n'
1
3
5
（4）每三行执行一次p命令
[root@rhel8 ~]#  seq 6 |sed   'n;n;p'
1
2
3
3
4
5
6
6
sed 先读取第一行 1，并打印模式空间 1，执行 n 命令，获取下一行 2，并打印模式空间 2，再执行 n
命令，获取下一行 3，执行 p 命令，打印模式空间 3。sed 读取下一行 3，并打印模式空间 3,以此类
推。


（5）每三行替换一次
方法1：只是把p命令改成了替换命令
[root@rhel8 ~]# seq 6 |sed 'n;n;s/^/=/;s/$/=/'
1
2
=3=
4
5
=6=

方法2：这次用到了地址匹配，来实现上面的效果
[root@rhel8 ~]# seq 6 |sed '3~3{s/^/=/;s/$/=/}'
1
2
=3=
4
5
=6=
当执行多个 sed 命令时，有时相互会产生影响，我们可以用大括号{}把他们括起来

（6）再看下N命令的功能
[root@rhel8 ~]# seq 6 |sed 'N;q'
1
2
将两行合并一行：
[root@rhel8 ~]# seq 6 |sed 'N;s/\n//'
12
34
56
第一个命令：sed 读取第一行 1，N 命令读取下一行 2，并以\n2 追加，此时模式空间是 1\n2，再执
行 q 退出。
为了进一步说明 N 的功能，看第二个命令：执行 N 命令后，此时模式空间是 1\n2，再执行把\n 替换
为空，此时模式空间是 12，并打印。

[root@rhel8 ~]# seq 5 |sed -n 'N;p'
1
2
3
4
[root@rhel8 ~]# seq 6 |sed -n 'N;p'
1
2
3
4
5
6
为什么第一个不打印 5 呢？
因为 N 命令是读取下一行追加到 sed 读取的当前行，当 N 读取下一行没有内容时，则退出，也不会
执行 p 命令打印当前行。
当行数为偶数时，N 始终就能读到下一行，所以也会执行 p 命令。


[root@rhel8 ~]# seq 5 |sed -n '$!N;p'
1
2
3
4
5
加一个满足条件，当 sed 执行到最后一行时，用感叹号不去执行 N 命令，随后执行 p 命令

案例9：打印和删除模式空间第一行（P（大写）和D）
P（大写） 打印模式空间的第一行。
D 删除模式空间的第一行。

（1）打印奇数
[root@rhel8 ~]# seq 6 |sed -n 'N;P'
1
3
5
[root@rhel8 ~]# seq 6 |sed 'N;D'
6
读取第一行 1，执行 N 命令读取下一行并追加到模式空间，此时模式空间是 1\n2，执行 D 命令删除
模式空间第一行 1，剩余 2。
读取1，执行N，得出1\n2，执行D，得出2，执行N，得出2\n3，执行D，得出3，依此类推，得出6，
执行N，条件失败退出，因无-n参数，故输出6

保持空间操作

h 复制模式空间内容到保持空间（覆盖）。
H 复制模式空间内容追加到保持空间。
g 复制保持空间内容到模式空间（覆盖）。
G 复制保持空间内容追加到模式空间。
x 模式空间与保持空间内容互换

（1）将匹配的内容覆盖到另一个匹配
[root@rhel8 ~]#seq 6 |sed -e '/3/{h;d}' -e '/5/g'
1
2
4
3
6
h 命令把匹配的 3 复制到保持空间，d 命令删除模式空间的 3。后面命令再对模式空间匹配 5，并用
g 命令把保持空间 3 覆盖模式空间 5。


（2）将匹配的内容放到最后
[root@rhel8 ~]# seq 6 |sed -e '/3/{h;d}' -e '$G'
1
2
4
5
6
3

（3）交换模式空间和保持空间
[root@rhel8 ~]#seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G'
1
2
4
3
6
5
在模式空间匹配 5 并将保持空间的 3 与 5 交换，5 就变成了 3,。最后把保持空间的 5
追加到模式空间的。

awk

常用模式有：


BEGIN{ }      给程序赋予初始状态，先执行的工作
END{ }    程序结束之后执行的一些扫尾工作
/regular  expression/    为每个输入记录匹配正则表达式
pattern && pattern     逻辑and，满足两个模式
pattern || pattern        逻辑or，满足其中一个模式
！pattern        逻辑not，不满足模式
pattern1，pattern2    范围模式，匹配所有模式1的记录，直到匹配到模式2
 

 案例

1、从文件读取awk程序处理文件
[root@rhel8 ~]# cat test.awk 
{print $2}
[root@rhel8 ~]# cat /tmp/services | awk -f test.awk 
48003/udp
48049/tcp
48128/tcp
48128/udp
48129/tcp
48129/udp
48556/tcp
48556/udp
48619/tcp
48619/udp

指定分隔符，打印指定字段

[root@rhel8 ~]# awk -F ':' '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
.......

指定多个分隔符，作为同一个分隔符处理

[root@rhel8 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $3}'
 com-bardac-dw
 iqobject
 iqobject
[root@rhel8 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $1}'
com-bardac-dw 	48556
iqobject 	48619
iqobject 	48619
[root@rhel8 ~]# tail -n3 /tmp/services |awk -F'[/#]' '{print $2}'
udp 	
tcp 	
udp 	
[root@rhel8 ~]# tail -n3 /tmp/services |awk -F'[ /]+' '{print $2}'
	48556
	48619
	48619
[]元字符的意思是符号其中任意一个字符，也就是说每遇到一个/或#时就分隔一个字段，当用多个
分隔符时，就能更方面处理字段了

变量赋值

[root@rhel8 ~]# awk -v a=123 'BEGIN{print a}'
123
系统变量作为awk变量的值
[root@rhel8 ~]# a=123
[root@rhel8 ~]# awk -v a=$a 'BEGIN{print a}'
123
或使用单引号
[root@rhel8 ~]# awk 'BEGIN{print '$a'}'
123

输出awk全局变量到文件

[root@rhel8 ~]# seq 5 |awk --dump-variables '{print $0}'
1
2
3
4
5

[root@rhel8 ~]# cat awkvars.out 
ARGC: 1
ARGIND: 0
ARGV: array, 1 elements
BINMODE: 0
CONVFMT: "%.6g"
ENVIRON: array, 29 elements
ERRNO: ""
FIELDWIDTHS: ""
FILENAME: "-"
FNR: 5
FPAT: "[^[:space:]]+"
FS: " "
FUNCTAB: array, 41 elements
IGNORECASE: 0
LINT: 0
NF: 1
NR: 5
OFMT: "%.6g"
OFS: " "
ORS: "\n"
PREC: 53
PROCINFO: array, 20 elements
RLENGTH: 0
ROUNDMODE: "N"
RS: "\n"
RSTART: 0
RT: "\n"
SUBSEP: "\034"
SYMTAB: array, 28 elements
TEXTDOMAIN: "messages"

BEGIIN和END


BEGIN 模式是在处理文件之前执行该操作，常用于修改内置变量、变量赋值和打印输出的页眉或标题。

[root@rhel8 ~]# tail /tmp/services |awk 'BEGIN{print "Service\t\tPort\t\t\tDescription\n==="}{print $0}'
Service		Port			Description
===
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
isnetserv 		48128/udp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject
iqobject 		48619/udp 	# iqobject

 END 模式是在程序处理完才会执行。

例如：打印页尾
[root@rhel8 ~]# tail /tmp/services |awk '{print $0}END{print "===\nEND......"}'
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
===
END......

格式化输出awk命令到文件

[root@rhel8 ~]#  tail /tmp/services |awk --profile 'BEGIN{print"Service\t\tPort\t\t\tDescription\n==="}{print $0}END{print "===\nEND......"}'
Service		Port			Description
===
nimgtw 		48003/udp 	# Nimbus Gateway
3gpp-cbsp 	48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 	48128/tcp 	# Image Systems Network Services
isnetserv 	48128/udp 	# Image Systems Network Services
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
com-bardac-dw 	48556/udp 	# com-bardac-dw
iqobject 	48619/tcp 	# iqobject
iqobject 	48619/udp 	# iqobject
===
END......


[root@rhel8 ~]# cat awkprof.out 
	# gawk profile, created Thu Sep 15 07:45:12 2022

	# BEGIN rule(s)

	BEGIN {
       	print "Service\t\tPort\t\t\tDescription\n==="
	}

	# Rule(s)

         {
      	print $0
	}

	# END rule(s)

	END {
       	print "===\nEND......"
	}

/re/正则匹配

匹配包含 tcp 的行：
[root@rhel8 ~]# cat /tmp/services |awk '/tcp/{print $0}'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject


逻辑 and、or 和 not

匹配记录中包含 blp5 和 tcp 的行：
[root@rhel8 ~]# cat /tmp/services |awk '/blp5/ && /tcp/{print $0}'
blp5 		48129/tcp 	# Bloomberg locator

匹配记录中包含 blp5 或 tcp 的行：
[root@rhel8 ~]# cat /tmp/services |awk '/blp5/ || /tcp/{print $0}'
3gpp-cbsp 		48049/tcp 	# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 	# Image Systems Network Services
blp5 			48129/tcp 	# Bloomberg locator
blp5 			48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw
iqobject 		48619/tcp 	# iqobject

不匹配开头是#和空行：
[root@rhel8 ~]# awk '! /^#/ && ! /^$/{print $0}' /etc/httpd/conf/httpd.conf
或者
[root@rhel8 ~]# awk '! /^#|^$/' /etc/httpd/conf/httpd.conf

匹配范围

[root@rhel8 ~]# cat /tmp/services |awk '/^blp5/,/^com/'
blp5 		48129/tcp 	# Bloomberg locator
blp5 		48129/udp 	# Bloomberg locator
com-bardac-dw 	48556/tcp 	# com-bardac-dw

诚诚k
关注
Shell文本处理(一)
Java/Python大数据成长之路
08-25 1048
文本处理是Shell中的一个重要领域，它允许你从文本数据中提取有用的信息，执行搜索、替换、格式化和过滤等操作。（Global Regular Expression Print）指令是一个强大的文本搜索工具，它可以使用正则表达式来搜索匹配的行。指令主要用于在指定目录下递归查找文件和目录，它可以使用不同的选项来过滤和限制查找结果。（Stream EDitor）指令是一个流编辑器，它可以对输入的文本进行复杂的处理。是一种强大的文本处理语言，它可以分析和处理文本中的字段和记录。
Shell脚本-三剑客实战
一只破碗
03-07 782
awk 第一条命令探路 原 /etc/passwd 数据： awk -F’:’ ‘{print $1,$2,$6}’ /etc/passwd 意思很明显：将/etc/passwd文件中的数据，先以":"分割，然后取第1、第2、第6列，打印出来。 -F’:’ 指定冒号为分割符 ==’{print $1,$2,$6}’==脚本代码块 执行脚本中的 BEGIN \ END模块 一般地，对每个输...
科普文：Shell编程三剑客：grep+sed+awk
最新发布
为无为，事无事，味无味。
07-11 1179
shell三剑客是grep、sed和awk三个工具的简称,因功能强大，使用方便且使用频率高，因此被戏称为三剑客，熟练使用这三个工具可以极大地提升运维效率。grep擅长查找过滤快速查找过滤sed擅长取行和替换需要快速进行替换/修改文件内容awk擅长取列、统计计算文件取列、数据切片、对比/比较和统计。
shell文本操作
weixin_34406061的博客
11-09 149
一、find查找命令的使用 1、find . -name "*.txt" 在当前目录下，查找以txt结尾的文件 2、find . -name "[a-z]" 在当前目录下，查找所有以小写字母开头的文件 3、find /etc -name "host*" 在etc目录下，查找以host开头的文件 4、find . -perm 755 在当前目录下，查找属性为755的文件 5、fin...
shell中的文本操作
qq_15956753的博客
01-02 161
shell中的文本操作
shell对文本的操作
kangshuangzhu的博客
10-25 304
假设文件名为log 统计行数 : wc -l log 把每行文本按照某元素split，并逐行打印split后的元素：cat log | awk -F "\t" '{print $0}' $0或者省略$表示打印整行，$1表示打印第一个元素。实际上 "\t" 和空格不需要特殊的说明分隔符，直接cat log | awk '{print $1}' 和cat log | awk -F "\t"...
Shell脚本grep命令
dongcha3646的博客
08-16 489
三剑客：grep sed awk 　　grep：文本行过滤工具 　　sed： 文本行编辑器（流编辑器） 　　awk： 报告生成器，输出格式化 grep包含三个命令： 　　grep egrep fgrep 。他们是用来进行行模式匹配的 　　egrep：=grep -E 使用扩展的正则表达式进行匹配 　　fgrep =fast grep 只使用文件通配符进行匹配 　　...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
### 第二十四章：Shell 脚本 - 正则、grep、sed、awk 三剑客 #### 一、正则表达式及 grep **1. 概述** 正则表达式是一种强大的文本处理工具，它能够帮助用户方便地进行字符串的搜索、替换等操作。在 Linux 系统中...
Shell脚本文本三剑客Sed
稻香的博客
05-30 757
目录 一、Sed 1. Sed概述 2. Sed工作流程 3. 基本用法 4. 常用选项 5. Sed命令的常用参数 二. Sed命令使用 1. 输出指定行 1.1 使用Sed命令输出指定行 1.2 结合正则表达式输出指定行 2. 插入符合条件的行 3. 删除符合条件的行 4. 替换符合条件的文本 4.1 字符串替换 5.迁移符合条件的文本 6.使用脚本编辑文件 一、Sed 1. Sed概述 sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供..
shell脚本之grep命令
techenliu的博客
09-14 1390
shell之grep命令
shell编程之正则表达式与总结（grep，egrep）与文件处理器和总结（sed，awk，sort，uniq）
CN_TangZheng的博客
12-03 524
正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串 sed是文本处理工具，可以读取文本内容，根据指定条件对数据进行添加，删除，替换等操作，被广泛应用于shell脚本 awk是一个功能强大的编辑工具，用于在Linux/Unix下对文本和数据进行处理
github精准搜索
Town
12-28 256
1.github的精准搜索,如下所示,可以按照自己想要的来进行搜索,简直不要太爽 #按照项目名搜索 in:name xxx #按照README搜索 in:readme xxx #按照description搜索 in:description xxx
Shell脚本三剑客之grep
weixin_71429790的博客
08-09 890
grep
shell脚本三剑客之grep
m0_72359405的博客
07-18 2757
grep -e：逻辑或，可以匹配多个条件，实现多个选项间的逻辑关系，可以跟多个条件。grep -m 数字：多个匹配的话，可以限定显示的行数，匹配几次之后停止。sort：以行为单位对文件的内容进行排序，也可以根据不同的数据类型进行排序。-c：统计连续重复的行的次数，并且合并重复的行，并打印，不会改变文件的内容。grep -A 数字：匹配到内容行后，再向下展示几行，包含匹配到的行。grep -f：根据两个文件的内容进行匹配，匹配两个文件中相同的内容。grep -C 数字：匹配到自己所在的行，以及上下各几行。
Shell脚本grep用法
weixin_42841369的博客
03-12 442
Shell脚本grep用法 语法：#grep [选项] '关键字' 文件名 常用选项： 常用选项 注释 -i 不区分大小写 -v 查找不包含指定内容的行，反向选择 -w 按单词搜索 -o 打印匹配关键字 -c 统计匹配到的次数 -n 显示行号 -r 逐层遍历目录查找 -A 显示匹配行及后面多少行 -B 显示匹配行及前面多少行 -C 显示匹配行前后多少行 -l 只列出匹配的文件名 -L 列出不匹配的文件名 -e 使用正则匹配 -E 使用扩展正
Shell脚本编程－－grep命令详解
Jay的博客
08-20 815
grep简介 grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是
Shell脚本之文本处理三剑客——grep（含正则表达式详解）
ZHUZIH6的博客
02-05 3002
简要介绍grep命令的常用选项，详细介绍了正则表达式内容
shell脚本 文本处理
07-29
在shell脚本中，文本处理是一个非常常见的任务。有三个常用的工具被称为"文本处理三剑客"，它们分别是grep、sed和awk。[1]grep命令用于在文件中搜索指定的模式，并将匹配的行打印出来。sed命令用于对文本进行编辑和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值