sell脚本之-grep文本过滤器 sed行编辑器 awk报告生成器

最新推荐文章于 2022-08-27 14:29:00 发布
最新推荐文章于 2022-08-27 14:29:00 发布
阅读量291 收藏 2
点赞数 1
分类专栏： SHELL脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myhyyyyyy/article/details/91813325
版权

grep文本过滤器

grep
Global search rgular expression and print out the line

全面搜索研究正则表达式并显示出来 文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到的行 由正则表达式或者字符及基本文本字符所编写的过滤条件

grep 匹配条件 处理文件

例如

grep root passwd 搜索含root的项
grep ^root passwd 搜索以root开头的项
grep root$ passwd 搜索以root结尾的项
grep -i root passwd 不分大小写搜索含root的项
grep -E "root|bash" passwd 搜索含root以及ROOT的项（= egrep "root|bash" passwd）

grep中正则表达式

grep中的位置及范围设定

    .           ###代表任意一个字符
    ^           ##表示以……开头
    $           ##表示以……结尾
    \<  \>      ##表示不做任何拓展
    []          ##匹配中括号内范围的任意字符
    [^]         ##匹配不在括号范围内的任意字符

如

'r...'   r后面有三个任意字符的匹配项
'..r'    r前面有两个任意字符的匹配项
'r..w'   r后面w前面有两个任意字符的匹配项

grep中的匹配次数设定

*        	    #字符出现0-任意次
？             	#字符出现0-任意次          
+              	#字符出现1-任意次   
{n}            	#字符出现n次
{m,n}          	#字符出现最少m次，最多n次  
{0,n}         	#字符出现0-n次
{m,}           	#字符出现至少m次
{,n}           	#字符出现最多n次  
(row){m,n}   	##关键字row出现m-n次
.*            	#关键字之间匹配任意字符

grep中的常用字符

  -i        ##忽略字母大小写
  -v	    ##条件取反
  -c	    ##统计匹配行数
  -q       	##静默，无任何输出
  -n       	##显示匹配结果所在的行号
  -b       	##显示匹配结果的字符串所在的行号
  -c       	##显示有多少行匹配
  --color 	##将显示的字符用不同颜色标出
  -e    	##一个-e后跟一个正则表达式，指定多个正则表达式
  -w     	##查找一个词
  -m  	    ##最多匹配几个
  -R 	    ##搜索子目录
  -o	    ##只打印匹配内容
  -A 1      ##查找所有匹配行,显示匹配行前一行
  -B 1      ##查找所有匹配行,显示匹配行前一行
  -C 1      ##查找所有匹配行,显示匹配行前一行，后一行
  -E        ##（=egrep）为一个可扩展的正则表达式

实验

[root@des ~]# cp /etc/passwd /mnt/
[root@des ~]# vim /mnt/passwd
###删除部分内容 
[root@des ~]# cd /mnt/
[root@des mnt]# grep root passwd 
###筛选包含root的项

在这里插入图片描述
在这里插入图片描述

[root@des mnt]# cat /mnt/passwd | grep games -2
###筛选包含game项的行并显示这一行的上两行及下两行
[root@des mnt]# cat /mnt/passwd | grep games -A2
###筛选包含game项的行并显示这一行的上两行
[root@des mnt]# cat /mnt/passwd | grep games -B2
###筛选包含game项的行并显示这一行的下两行

在这里插入图片描述
在这里插入图片描述

[root@des mnt]# grep -E "sh$" /etc/passwd | cut -d : -f 1
###筛选以/etc/passwd中sh结尾的项，并输出以：为分隔符的第一列

在这里插入图片描述

[root@des mnt]# vim test
[root@des mnt]# grep ws test 
ws
###筛选ws
[root@des mnt]# grep w*s test 
westos
###出现任意次w（0-任意），+s
[root@des mnt]# grep w.....s test 
[root@des mnt]# grep w......s test 
wessstos
weeestos
###ws中间有6个字符

在这里插入图片描述
在这里插入图片描述

[root@des mnt]# vim xy
[root@des mnt]# grep xy xy
###显示xy项
[root@des mnt]# grep x*y xy
###显示xy相间项（x出现0-任意次）
[root@des mnt]# grep -E 'x?y' xy
###显示含x或y项
[root@des mnt]# grep -E 'x+y' xy
###显示X出现任意次+y项


![在这里插入图片描述](https://img-blog.csdnimg.cn/20190613214622206.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190613214646177.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215aHl5eXl5eQ==,size_16,color_FFFFFF,t_70)


[root@des mnt]# grep -E 'x{2}y' xy
###指定两个x+y
[root@des mnt]# grep -E 'x{2,3}y' xy
###指定两或三个x+y
[root@des mnt]# grep -E 'x{2,}y' xy
###指定最少两个x
[root@des mnt]# grep -E 'x{,3}y' xy
###指定至多三个x
[root@des mnt]# grep -E '(xy){,3}' xy
###指定最多三个xy


![在这里插入图片描述](https://img-blog.csdnimg.cn/20190613214711170.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215aHl5eXl5eQ==,size_16,color_FFFFFF,t_70)

[root@des mnt]# grep ^root passwd 
###筛选指定以root开头
[root@des mnt]# grep root$ passwd 
###筛选指定以root结尾的项

在这里插入图片描述

sed行编辑器

sed 可依照脚本的指令来处理、编辑文本文件。 sed 一次处理一行内容，处理时，把当前的行存储在临时缓冲区，处理完后，输送到屏幕 Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等

一般格式： sed [参数] ‘命令’ fileame

常用参数含义：

p 显示

d 删除

a 添加

c 替换

w 写入

i 插入

常用选项：

-n  仅显示指定信息
-i  表示更改原文件内容
-b  表示显示时添加行号
-e  表示进行多个动作
-f  指定脚本名称
-h  显示帮助

实验

p模式 

[root@des mnt]# cat fstab -n | sed 5p
###加入一个第5行
[root@des mnt]# cat fstab -n | sed -n 5p
###指定输出第5行

在这里插入图片描述

[root@des mnt]# cat fstab -n | sed -n 3,5p
###指定输出第3～5行

在这里插入图片描述

[root@des mnt]# cat fstab -n | sed -n '3p;5p'
###指定输出第三、第五行
cat fstab -n
###显示fstab，并显示行号

在这里插入图片描述

[root@des mnt]# sed -n '/^$/!p' fstab 
###不显示空行
[root@des mnt]# sed -n '/^$/!p' fstab | sed -n '/^#/!p'
###不显示空行同时不显示#开头的行

在这里插入图片描述

按照userfile文件建立用户，反馈列表中以存在用户

[root@des mnt]# seq 1 10

在这里插入图片描述

[root@des mnt]# vim creste_usr.sh 
#!/bin/bash
[ -z "$1" ] && {
        echo "Error!Please input userfile following script"
        exit
}
[ ! -e "$1" ] && {
        echo "$1 is not exit"
        exit
}
Max_Num=`wc -l $1 | cut -d " " -f 1`
for Line_Num in `seq 1 $Max_Num`
do
        USERNAME=`sed -n ${Line_Num}p $1`
        id $USERNAME &> /dev/null && {
                echo $USERNAME is exist!
        } || {
        useradd $USERNAME
        }
done


[root@des mnt]# vim userfile 
[root@des mnt]# sh creste_usr.sh userfile 
[root@des mnt]# cat userfile

在这里插入图片描述

d模式

[root@des mnt]# sed '/^UUID/d' fstab 
###删除以UUID开头的行
[root@des mnt]# cat fstab

在这里插入图片描述

[root@des mnt]# sed '/^#/d' fstab 
###删除#开头的行
[root@des mnt]# sed '/^$/d' fstab 
###删除空行
[root@des mnt]# sed '1,4d' fstab 
###删除1到4行
[root@des mnt]# sed '/^UUID/!d' fstab 
###只不删除UUID行

在这里插入图片描述
在这里插入图片描述
a模式

[root@des mnt]# sed '/^UUID/ahello\nwestos' fstab 
###在UUID行后一行加hello，在下一行加westos（\n指换行）

在这里插入图片描述
w模式

[root@des mnt]# sed -n '/^UUID/w file' fstab 
###将UUID行输入到文件file中
[root@des mnt]# cat file

在这里插入图片描述

[root@des mnt]# sed  '$=' fstab 
###显示fstab并在最后显示行号
[root@des mnt]# sed -n '$=' fstab 
###只显示行号
[root@des mnt]# wc -l fstab | cut -d " " -f 1
###同效
[root@des mnt]# sed '6r /mnt/file' fstab

在这里插入图片描述
c模式

[root@des mnt]# sed "/#/cwestos" -i fstab 
###将fstab中一#开头的行换为westos
[root@des mnt]# cat fstab

在这里插入图片描述

利用脚本改变http端口

[root@des mnt]# vim http_port.sh
[root@des mnt]# sh http_port.sh 8080

#!/bin/bash
[ -z "$1" ] && {
        echo "Error:please input number following script"
        exit
}
sed "/^Listen/clisten $1" -i /etc/httpd/conf/httpd.conf
systemctl restart httpd

[root@des mnt]# vim /etc/httpd/conf/httpd.conf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

awk报告生成器

对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能。在命令行中使用，但更多是作为脚本来使用

变量参数

NR ##输出当前操作的行号
NF ##输出当前字段个数
print ##打印文件内容
FILENAME ##输出文件名
BEGIN{} #读入第一行文本之前执行，一般用来初始化操作
{} #逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令块
END{} #处理完最后一行文本之后执行，一般用来输出处理结果

实验

awk '{print FILENAME}' passwd
awk -F : '{print $1}' passwd  只显示第一列

在这里插入图片描述
在这里插入图片描述

awk -F : 'BEGIN{print "hello"}{print $1}' passwd 显示第一列并在第一行加入hello

在这里插入图片描述

awk -F : 'BEGIN{n=1}{print $2,n}' passwd 显示第二列并在每一行后加入1

##在这里插入图片描述

awk -F : 'BEGIN{n=1}{print $2,n++}' passwd 显示第二列并随着行数的增加n也不断加一（行数统计）

在这里插入图片描述

awk -F : 'BEGIN{n=1}{print n++,$2}' passwd 将行数统计放在前面

在这里插入图片描述

awk -F : 'BEGIN{n=1}{print n++,$2}END{print "over"}' passwd 统计行数并显示第二列内容并在结尾行输入over

在这里插入图片描述

awk -F : 'BEGIN{n=1}{print n++,$2}END{print NR}' passwd 统计行数并显示第二列内容，在结尾行显示行数

##在这里插入图片描述

awk -F : 'BEGIN{n=1}{print n++,$2}END{print NF}' passwd 统计行数并显示第二列内容，在结尾行显示列数

在这里插入图片描述

awk -F : 'NR==3{print}' passwd 输出第三行的全部内容

在这里插入图片描述

awk -F : 'NR==3{print $1}' passwd 输出第三行第一列的全部内容

在这里插入图片描述

awk -F : 'NR>=3&&NR<=6{print}' passwd 搜索3～6行的内容

在这里插入图片描述

awk -F : 'NR==3||NR==6{print}' passwd 搜索第三行以及第六行的内容
awk -F : '/bash/{print}' passwd 搜索所有含有bash的行

在这里插入图片描述

awk -F : 'BEGIN{a=34;print a+12}'计算34+12

在这里插入图片描述

awk -F : '/^ro/{print$1,$6}' passwd 搜索以ro开头的行并输出它的第一、六行

在这里插入图片描述

awk -F : '/^[a-d]/{print$1,$6}' passwd 搜索以a\b\c\d开头的行并输出它的第一、六行

在这里插入图片描述

awk -F : '/^root|nologin$/{print $1,$7}' passwd 搜索以root开头或nologin结尾的行并输出它的第一、七行

在这里插入图片描述

awk -F : '$6~/bin$/{print $1,$6}' /etc/passwd 搜索第六列以bin结尾的行并输出1、6列

在这里插入图片描述

awk -F : '$6!~/bin$/{print $1,$6}' /etc/passwd搜索第六列不以bin结尾的行并输出1、6>列

在这里插入图片描述

myhyyyyyy
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大部分linux只支持基本的正则表达式。 hel...
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。这就需要正则表达式...
利用 Linux grep 和 awk 完成日志过滤
最新发布
Tyler_Zx的博客
08-27 4902
利用 Linux grep 和 awk 完成日志过滤
Sell编程--sed分割和批量查找
qq1186351245的博客
07-05 591
到目前为止，我们只使用过一种 分隔符，那就是 反斜杠（）。假设我们需要使用 sed 将输入源中的 替换为 因为 是模式分隔符，我们不得不对它进行转义，即 。echo "/bin/sed" | sed 's/\/bin\/sed/\/home\/yufei\/bin\/sed/'竖线（） 应该是 反斜杠（） 之外用的最多的分隔符了。竖线能够显著改善 sed 模式语句的可读性。例如上面的命令，我们使用竖线作为分隔符，则可重写为echo "/bin/sed" | sed 's|/bin/sed|/home/y
强大的sell利用sed和tr复制目录结构
termanli
10-01 173
#!/bin/bash #=============================================================================== # # FILE: copydirtree.sh # # USAGE: ./copydirtree.sh source dist # # DESCRIPT...
Linux常用命令（六）
Helon的博客
05-26 228
sort命令 sed命令 总结： sed是一个非交互式的文本编辑工具，通常在sell脚本中使用； sed每次去处理文件的时候都会将内容拿到一个临时缓冲区（模式空间）中，每次处理一行，就会输出到屏幕上。之后将缓存区中的内容清除，再去读取新的行内容； 不支持将修改后的文件内容直接写入源文件中，是系统本身的问题。如果想要修改源文件，可以使用-i的选项，也可以多次使用数据流重定向来解决；...
shell中grep的用法
热门推荐
试试看吧。
06-14 4万+
一：grep文本搜索 grep：强大的文本搜索工具 补充说明： grep （global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活。 选项： -...
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外...
shell脚本之正则表达式、grep、sed、awk
12-13
^word ##搜索以word开头的 vi/vim中 ^ 一行的开头 word$ ##搜索以word结尾的 vi/vim中 $ 一行的结尾 ^$ ##表示空行 . ##代表且只能代表任意一个字符 \ ##例：\. 只代表点本身，转义符号，让有特殊身份意义的...
Linux 文本常用工具
kairui_guxiaobai的博客
09-08 320
01 find 文件查找 1 查找txt和pdf文件 find . ( -name “.txt" -o -name ".pdf” ) -print 2 正则方式查找.txt和pdf find . -regex “.(.txt|.pdf)$" -iregex：忽略大小写的正则 3 否定参数 查找所有非txt文本 find . ! -name ".txt” -print 4 指定搜索深度 打印出当前目录的文件（深度为1） find . -maxdepth 1 -type f 5 定制搜索 按类型搜索： find
grep和awk命令的结合使用
weixin_58464909的博客
12-31 6389
前两天项目经理给了我们一个题目：“查询/etc/Passwd/里边可以登陆用户的uid，只要用户名和uid并且中间以横杠隔开。 这对我来说是个有点难度的事情，为此我还去问了一下我的同学，但他们说也都忘了 无奈的我只能自己去找度娘寻找答案。我搜到了grep的用法，但是对于密集恐惧症的我来说看着都头疼，最后终于找到了个简洁明了的使用介绍，grep，属于“文本处理三剑客“中的一位（文本处理三剑客包括：grep、awk、sed）。其作用是文本搜索,它可以正则表达式搜索文本,也可从一个文件中的内容作为搜索关键
面试题:shell脚本编程中grep、sed、awk命令详解
森明帮大于黑虎帮的博客
10-07 1833
文章目录一、grep的使用二、sed的使用三、awk的使用 grep、sed和awk都是文本处理工具，虽然都是文本处理工具单却都有各自的优缺点。在接下来的内容中，将会详细介绍三种命令的使用。 grep：grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。文本过滤器，如果仅仅是过滤文本，可使用grep，其效率比其他的高很
Linux文本提取命令awk和grep,linux命令grep和awk命令使用
weixin_39984098的博客
04-29 393
#!bin/bash#connect###################################################################功能描述：每5分钟检查一次单板状态，如果单板假死了就将单板复位重启#执行周期：5分钟#CRONTAB：5****#作者：洪杰#创建时间：2016/08/03#修改记录：#######################...
grep awk用法
liujicailiujitian的博客
05-28 2240
1、grep 常用用法总结 grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 grep常用的用法 格式 grep [-acinv] [–color=auto] ‘搜索字符串’ filename 选项和参数： -a 将二进制文件以文本方式搜索数据 -c 计算找到 ”搜寻字符串“ 的次数 -i 忽略大小写 -n 顺便输
shell如何取到文件中某一行某一列的内容
CDSNQG的专栏
01-01 9302
#!/bin/sh file=$1 #把一个file中的内容放到all_dc_host中 all_dc_host=`cat ${file}` for((j=1;j do num=0 #依次取到file中的内容 for dc in ${all_dc_host} do #通过awk取出第j行第二列的内容 tmp=$(awk -v co="${j}" 'NR==co {print
grep及awk使用
赱乂的博客
01-10 2867
grep -v ‘要排除的字段’ grep -w ‘要完全匹配的字段’ awk -F&quot;分隔符&quot; ‘{ print $1 “|” $2}’：以分隔符分割，输出分割之后的第一列与第二列，中间以|隔开 grep ‘要搜索的字段’ *.log | awk -F&quot;#&quot; ‘{ print $1 $2}’ |grep -w “严格匹配的字段” | awk -F&quot;|&quot; ‘{ print $2 “|” $3}’ ..
Linux命令：grep和awk
Wetsion的博客
05-31 2774
参考资料：https://www.cnblogs.com/wangcp-2014/p/5146335.htmlhttps://www.cnblogs.com/flyor/p/6411140.htmlgrep主要用来对文本进行处理，对指定的字符进行匹配筛选，并将匹配的行返回打印出来...
linux命令小记（grep、awk、sed）
song_aq的博客
11-14 1993
grep grep 标准 egrep 扩展grep，支持基本和正则，执行效果与grep -E相似 fgrep 快速grep，允许查找字符串而不是一个模式 常用参数-c 只输出匹配的行的总数（count） -C 加参数num表示，显示匹配的行，及其前后num行 -d 当参数不是普通文件而是目录时 -f 把要匹配的模式写进一个文件中，然后传给grep -h 查询多个文件时，不显示文件名 -l
awk，grep,sed命令详解，相关实例
jwzhichitianya的博客
07-24 1363
awk awk可以理解为文本处理工具，我们现在使用的awk其实是gaswk sed，awk,grep linux三剑客 sed主要是编辑文本 grep 查找 awk格式化文本内容 awk基本语法 awk [options] Pattern{Action} file awk没有指定分隔符的情况下，以空格作为分隔符，以换行符为标准逐行处理 举例： 使用awk '{print $1,$2,$4}'...
掌握grep、sed、awk：文本过滤神器与正则表达式实战
正则表达式sed awk是Unix/Linux系统中常用的文本处理工具，它们在数据筛选、查找和替换等方面发挥着重要作用。以下是对这些工具及其用法的详细解析： 1. **grep**： - grep是全局正则表达式搜索的命令，用于在文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值