Linux三剑客之grep，sed，awk命令使用详解

最新推荐文章于 2021-08-06 15:37:31 发布
最新推荐文章于 2021-08-06 15:37:31 发布
阅读量260 收藏 2
点赞数
文章标签： awk 操作系统
原文链接：http://blog.51cto.com/12083623/2355612
版权

sed

  1. sed语法格式

sed [选项] [sed指令] [输入文件]

创建测试文件

cat>person.txt<<EOF
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
EOF

EOF ==>end of file

查询单行文本

p sed指定，打印模式空间内容
-n sed选项，取消默认输出

[root@www ~]# sed '1p' person.txt 
101,oldboy,CEO
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@www ~]# sed -n '1p' person.txt 
101,oldboy,CEO
[root@www ~]# sed -n '3p' person.txt 
103,Alex,COO

查询连续多行文本

指定p前面没有地址范围，那么默认匹配所有行

2,4 显示第2行到第4行的内容，包含第2行和第4行

[root@www ~]# sed -n '2,4p' person.txt 
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO

正则地址范围-模糊，容易找多了
#显示出文件中包含oldboy的行到包含104的行。。

[root@www oldboy]# #sed -n '/oldboy/p' person.txt  ===== grep 'oldboy'
[root@www oldboy]# sed -n '/oldboy/p' person.txt 
101,oldboy,CEO
[root@www oldboy]# sed -n '/oldboy/,/^104/p' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO

过滤多个字符串
-r sed选项，支持扩展正则表达式（|、()） 因为默认情况，sed只支持基本正则表达式。

[root@www ~]# sed -n '/oldboy/p' person.txt 
101,oldboy,CEO
[root@www ~]# egrep 'oldboy|yy' person.txt   ==egrep ==grep -E
101,oldboy,CEO
104,yy,CFO
[root@www ~]# sed -rn '/oldboy|yy/p' person.txt 
101,oldboy,CEO
104,yy,CFO

sed里面的正则字符左右必须有“/”。/oldboy/

小结：
1.查询某一行 查询某一个范围 1p 2,4p
2.通过正则表达式查询范围
sed -n '/oldboy/,/^104/p' person.txt
3.sed命令通过正则表达式进行过滤 ==== egrep

查询指定多行，使用分号

[root@www ~]# sed -n '2p;4p' person.txt 
102,zhangyao,CTO
104,yy,CFO
[root@www ~]# sed -n '2p;4p;10p;30p' person.txt

增加单行文本

a 追加append，在指定行后添加一行或多行文本
i 插入insert，在指定行前添加一行或多行文本

[root@www ~]# sed '2a 106,xiaoyu,CXO' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
106,xiaoyu,CXO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@www ~]# sed '2i 106,xiaoyu,CXO' person.txt 
101,oldboy,CEO
106,xiaoyu,CXO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

增加多行文本
\n 表示换行符

[root@www ~]# sed '2a 106,xiaoyu,CXO\n107\n108\n109' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
106,xiaoyu,CXO
107
108
109
103,Alex,COO
104,yy,CFO
105,feixue,CIO
cat >>person.txt<<EOF 
new,new,new
old,old,old
EOF

删除文件内容
d sed指令，删除文本内容
$ 代表文件的最后一行

[root@www ~]# sed '2d' person.txt   # 删除单行
101,oldboy,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@www ~]# sed '2,5d' person.txt # 删除多行
101,oldboy,CEO
[root@www ~]# sed '2,$d' person.txt 
101,oldboy,CEO

企业案例：不显示文件中的空行

[root@www oldboy]# cat person.txt 
101,oldboy,CEO

102,zhangyao,CTO
103,Alex,COO

104,yy,CFO

105,feixue,CIO

[root@www oldboy]# cat -A person.txt
101,oldboy,CEO$
$
102,zhangyao,CTO$
103,Alex,COO$
$
104,yy,CFO$
$
105,feixue,CIO$

grep -v  '^$' person.txt 
sed '/^$/d' person.txt 
sed -n '/^$/!p' person.txt 
awk '!/^$/' person.txt 

sed '$d' person.txt 
sed '$!d' person.txt

文本替换

s 单独使用→将每一行中第一处匹配的字符串进行替换
g 每一行进行全部替换→sed指令s的替换标志之一(全局替换)

[root@www ~]# sed 's#o#A#' person.txt 
101,Aldboy,CEO
102,zhangyaA,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@www ~]# sed 's#o#A#g' person.txt 
101,AldbAy,CEO
102,zhangyaA,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

-i自动备份功能

[root@www ~]# sed -i.bak 's#o#A#g' person.txt 
[root@www ~]# cat person.txt
101,AldbAy,CEO
102,zhangyaA,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@www ~]# cat person.txt.bak 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

变量替换

注意单引号、双引号的区别
单引号：所见即所得

双引号：与单引号类似 特殊符号会被解析 $ $() ! 以及反引号

[root@www oldboy]# x=oldboy
[root@www oldboy]# y=oldgirl

[root@www oldboy]# sed 's#$x#$y#g' person.txt 
101,oldboy,CEO

102,zhangyao,CTO
103,Alex,COO

104,yy,CFO

105,feixue,CIO

[root@www oldboy]# sed "s#$x#$y#g" person.txt 
101,oldgirl,CEO

102,zhangyao,CTO
103,Alex,COO

104,yy,CFO

105,feixue,CIO

反向引用

() 扩展正则表达式 在sed中作用，能够记忆它包含的一段正则表达式，并可以通过\1 \2 \3 ... \9 调取出来

sed -r '()'

企业案例：系统开机启动项优化

除了下面5个服务以外都关闭：crond sshd network sysstat rsyslog

chkconfig --list|grep 3:on|sed -r 's#(.*).*0.*#\1#'|egrep -v 'crond|sshd|network|sysstat|rsyslog'|sed -r 's#(.*)#chkconfig \1 off#'|bash

awk

基本的awk执行过程：

awk  参数  '模式{动作}'  文件 
awk  参数  '条件（找谁）{干啥}'  文件 

[root@www ~]# awk -F ":"  'NR==2{print $1,$2}' /etc/passwd

通过正则表达式作为模式

mkdir -p /server/files/
cat >>/server/files/reg.txt<<EOF
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Meng  Feixue    80042789   :250:60:50
Wu    Waiwai    70271111   :250:80:75
Liu   Bingbing  41117483   :250:100:175
Wang  Xiaoai    3515064655 :50:95:135
Zi    Gege      1986787350 :250:168:200
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175
EOF

显示Xiaoyu的姓氏和ID号码

[root@www files]# awk '$2~/Xiaoyu/{print $1,$2,$3}' reg.txt 
Zhang Xiaoyu 390320151

显示所有以41开头的ID号码的人的全名和ID号码

[root@www files]# awk '$3~/^41/'  reg.txt 
Zhang Dandan    41117397   :250:100:175
Liu   Bingbing  41117483   :250:100:175
[root@www files]# awk '$3~/^41/{print $1,$2,$3}'  reg.txt 
Zhang Dandan 41117397
Liu Bingbing 41117483

显示所有ID号码最后一位数字是1或5的人的全名

[root@www files]# awk '$3~/[15]$/' reg.txt 
Zhang Xiaoyu    390320151  :155:90:201
Wu    Waiwai    70271111   :250:80:75
Wang  Xiaoai    3515064655 :50:95:135
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175

[root@www files]# awk '$3~/[15]$/{print $1,$2}' reg.txt 
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Li Youjiu
Lao Nanhai

显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135
gsub(/目标/,"替换为什么",第几列)
gsub(/目标/,"替换为什么") == gsub(/目标/,"替换为什么",$0)

[root@www files]# awk '$2~/Xiaoyu/' reg.txt 
Zhang Xiaoyu    390320151  :155:90:201
[root@www files]# awk '$2~/Xiaoyu/{gsub(/:/,"$");print}' reg.txt 
Zhang Xiaoyu    390320151  $155$90$201

特殊模式BEGIN和END
BEGIN{} BEGIN里面的内容，会在awk读取文件内容之前运行。
一般用于测试，计算。

END{} END{}里面的内容，会在awk读取完文件的最后一行之后运行。
用来显示最终结果。
先计算，END显示结果。

统计/etc/services文件里面的空行数量

i=i+1 统计

[root@www files]# awk '/^$/{i=i+1}END{print i}' /etc/services 
16

先计算END{显示最终结果}

统计出现多少次 计数
i=i+1 == i++

awk数组-统计与计算

处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)

http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@www files]# awk 'BEGIN{h[110]="lee";h[114]="XO";print h[110],h[114]}'
lee XO

统计出现多少次 计数
i=i+1 == i++
h[$2]=h[$2]+1 == h[$2]++

[root@www files]# cat url.txt
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html

[root@www files]# awk -F "[/.]+" '{print $2}' url.txt 
www
www
post
mp3
www
post
[root@www files]# awk -F "[/.]+" '{h[$2]=h[$2]+1;print h["www"]}' url.txt 
1
2
2
2
3
3

[root@www files]# awk -F "[/.]+" '{h[$2]=h[$2]+1}END{print h["www"],h["post"],h["mp3"]}' url.txt 
3 2 1
[root@www files]# awk -F "[/.]+" '{h[$2]=h[$2]+1}END{for(pol in h) print pol,h[pol]  }' url.txt 
www 3
mp3 1
post 2

awk总结：
1.awk数组进行统计
i=i+1 == i++ 统计次数 计数
i=i+$n == i+=$n 累计相加 累加
2.awk执行过程
3.awk通过正则作为模式
4.BEGIN和END特殊模式

转载于:https://blog.51cto.com/12083623/2355612

weixin_34348174
关注
【Linux系统基础快速入门详解】Linux三剑客:grep和egrep,sed,awk与find原理和使用案例
走向CTO的路上...
06-01 911
总之，grep、sed、awk和find是Linux系统中常用的文本处理工具，可以帮助用户快速搜索、过滤、替换和处理文本信息。在Linux系统中，grep、sed、awk和find被称为“Linux三剑客”，是Linux系统中常用的文本处理工具。grep和egrep是Linux系统中常用的文本搜索工具，可以在文本文件中查找指定的字符串。find是Linux系统中常用的文件查找工具，可以根据文件名、文件类型、文件大小等条件查找文件。其中，COMMAND为要执行的命令，可以是查找、删除、替换等操作。
Linux的文本三剑客awk、sed、grep及其他文本处理命令，详细解析
cylcylccyyll的博客
07-14 670
s的使用为s/旧/新/，/([a-z]+)([a-z]+)([a-z]+)/为在echo处匹配到的，位置分别为123，/\3\2\1/是将前面的位置变成321“\”为转义字符，可以让其后面的内容原样输出。name[$1]拿$1做字段key让$2做value，如果这个数组里面有key，就累加，初始值是0+value，END是文件里所有的行都处理完了，最后去执行end部分的命令，end里面的只执行一次。egrep相当于grep-E支持扩展正则，-o只会输出你所匹配到的，不匹配的不输出。......
linux sed命令新文件,Linux文件三剑客sed命令用法详解
weixin_36181282的博客
04-30 647
sed是一种流编辑器，它是文本处理中非常强大的工具，能够完美的配合正则表达式使用，用法简单实用，非常灵活。工作原理：sed命令处理文本时，把当前处理的行存储在一个临时缓冲区中，称为“模式空间”(pattern space)，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。在sed高级编辑命令中，还会调用另一个临时缓冲区，称为“保持...
linux三剑客之sed命令详解
BANANAML的博客
12-04 469
简介 linux中的sed命令是Linux三剑客之一，它是stream editor流式编辑器的简称，可以定位到匹配的数据，并可以对数据进行增删改查等编辑操作，是功能强大的文本文件、日志、配置文件的处理工具。 sed命令与SQL进行类比，相当于SQL的update table set filed=new where filed=old。 命令语法格式 sed [OPTIONS] ‘command’...
Linux三剑客之老二-------sed命令详解
weixin_30951743的博客
08-02 122
sed命令 文件 编辑 本文索引 [隐藏] sed的选项、命令、替换标记 选项 参数 sed命令 sed替换标记 sed元字符集 sed用法实例 替换操作：s命令 全面替换标记g 定界符 删除操作：d命令 已匹配字符串标记& 子串匹配标记\1 组合多个表达式 引用 选定行的范围：,（逗号） 多点编辑：e命令 从文件读入：r命令 写入文件：w命令 追加（行下）：a\命令 插入（行上）：i\命...
Linux从入门到放弃 三剑客 --- sed命令详解
欠了三年一场梦的博客
11-05 375
sed 概念： 文件处理编辑命令 原理： 按照每行查找信息，找出符合条件的信息。 语法 sed [参数] 查找内容 文件 sed '3p' wy.txt -n 查找第三行信息打印 -p 打印 sed '2,4p' wy.txt -n 查找2至4行信息打印（查找连续行信息） sed '2,$p' wy.txt -n 查找2至尾行信息打印 $:最后一行 sed '2p;4p'...
linux sed命令详解,1.10-linux三剑客之sed命令详解及用法
weixin_36021459的博客
04-28 278
内容:1.sed命令介绍2.语法格式,常用功能查询 增加 替换 批量修改文件名第1章sed是什么字符流编辑器 Stream Editor第2章sed功能与版本处理出文本文件,日志,配置文件等增加,删除,修改,查询sed --versionsed -i 修改文件内容第3章语法格式3.1语法格式sed [选项] [sed指令] [输入文件]sed -i.bak 's#oldboy#oldgri...
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
Linux文本处理三剑客grep、sed、awk用法详解
weixin_44310047的博客
06-18 1374
Linux文本处理工具grep、sed、awk用法详解 文章目录Linux文本处理工具grep、sed、awk用法详解1、grep1）grep简介2）grep命令格式3）grep命令字符数量匹配规则2、sed1）sed简介2）sed命令格式3）sed字符替换3、awk1）awk简介2）awk命令格式 1、grep 1）grep简介 grep命令是一个Linux文本处理工具，它与egrep命令属于同一系列，这些命令都是用于对文件和文本执行重复搜索任务的工具。我们可以通过grep命令指定特定搜索条件来搜索文件及
find和三剑客grep、sed、awk详解
Elltor
08-10 1441
三剑客
linux三剑客之sed命令,1.10-linux三剑客之sed命令详解及用法
weixin_28685483的博客
05-25 308
内容:1.sed命令介绍2.语法格式,常用功能查询 增加 替换 批量修改文件名第1章sed是什么字符流编辑器 Stream Editor第2章sed功能与版本处理出文本文件,日志,配置文件等增加,删除,修改,查询sed --versionsed -i 修改文件内容第3章语法格式3.1语法格式sed [选项] [sed指令] [输入文件]sed -i.bak 's#oldboy#oldgri...
Linux三剑客命令详解（grep sed awk ）
gjzmufeng的博客
04-21 2725
grep 下面所说的是Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。 我们现在知道Linux下一切皆文件，对Linux的操作就是对文件的处理，那么怎么能更好的处理文件呢？这就要用到我们上面的三剑客命令。 在说这三个命令前我们要插入一个小插曲就是“正则表达式”。 一、正则表达式 所谓的正则表达式我个人理解就是正规的表示方法。他是用简单的方法来实现强大的功...
Linux--文件处理三剑客（一）（sed详解）
Xucf1
12-26 1595
文章目录sed编辑器概述工作流程读取执行显示命令格式常用选项常用操作示例打印内容使用地址删除行替换标记插入 sed编辑器 概述 sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流 sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中 流编辑器的工作过程可以理解为：是从上往下依次执行，就像流水一样，一行一行逐行来执行的 工作流程 主要包括以下这三个过程 读取 sed从输入流(文件、管道、标准输入)中读取一行内容
linux三剑客之sed命令,linux三剑客之sed命令
weixin_33205138的博客
05-25 570
sed是一个非交互式的文件编辑器，可以对文本文件和标准输入进行编辑，标准输入可以来自键盘输入、字符串、文件重定向、管道、变量等。sed命令选项及其含义选项含义-n不打印所有行到标准输出-e将下一个字符串解析为sed编辑命令，如果只传递一个编辑命令给sed，-e可以省略-f表示正在调用脚本文件sed命令通常由定位文本行以及编辑命令组成，编辑命令对定位文本行进行各种处理sed命令定位文本的方法选项含义...
Linux三剑客之Sed命令
aaronszm的博客
01-03 840
sed 简介 1、sed英文全称是stream editor，流编辑器，功能十分强大，由贝尔实验室的Lee E.McMahon 在1973年到1974年之间开发完成， 目前可以在大多数操作系统中使用，sed的出现作为grep的继任者。与vim等编辑器不同的是，sed是一种非交互式的编辑器，它使用预先设定好的编辑指令对输入的文本进行编辑，完成之后再输出编辑结构。配合正则表达式用可以实现很多文本处理操...
Linux三剑客——sed命令
LiLi的博客
08-06 682
作用 sed命令是一个非交互式的行文本编辑器，它能对文件内容进行编辑，默认每次处理文本文件中所匹配到一行内容到模式空间，然后用后面的命令进行操作，操作完成之后，会把模式空间里面的内容输出到屏幕上，然后把模式空间中的内容删除，同时把下一行所匹配到的内容读入模式空间内，依次循环，直到读取完整个文件。 sed 命令处理的是缓冲区中的内容，其实这里的缓冲区，就是模式空间 语法 sed语法支持两种格式，分别是 sed [options] ‘address command’ file sed [options]
Linux 三剑客之 sed 教程详解
过客2019
03-29 206
目录： 介绍工作原理正则表达式基本语法数字定址和正则定址基本子命令实战练习 介绍 熟悉 Linux 的同学一定知道大名鼎鼎的 Linux 三剑客，它们是grep、awk、sed，我们今天要聊的主角就是sed。 sed 全名叫stream editor，流编辑器，用程序的方式来编辑文本，与 vim 的交互式编辑方式截然不同。它的功能十分强大，加上正则表达式的支持，可以进行大量的复杂文本的编辑操作。 实际上 sed 提供的功能非常复杂，有专门的书籍讲解它。本文不会讲 sed 的全部东西，只会从 ...
Linux三剑客之sed命令
ChampionDong的博客
04-14 408
sed sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法 sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，...
Linux三剑客之sed详解（2）
EFFORT1989的专栏
10-09 140
一、sed 分组替换()，\1 　　实例：I am a oldboy teacher. 吧oldboy 提取出来 　　　　 二、特殊符号&代表被替换的字符串 　　实例：批量替换文件名 　　把stu_102999_1_finished.jpgstu_102999_2_finished.jpgstu_102999_3_finished.jpgstu_102999_4_...
Linux三剑客：grep, sed, awk 命令详解与实战
“Linux三剑客常用命令.pdf”是一本由26期学员侯鹏飞编著，老男孩教育出版社出版的书籍，旨在帮助读者掌握Linux中的文本处理工具grep、sed和awk，提升文本内容搜索和编辑的效率。作者是中国运维领域的专家，拥有10...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值