shell 文本处理三剑客之grep

最新推荐文章于 2022-11-25 21:43:15 发布
最新推荐文章于 2022-11-25 21:43:15 发布
阅读量232 收藏
点赞数
分类专栏： shell 文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxs123678/article/details/79362460
版权

先介绍一下正则表达式的基本组成部分

^   行起始标记       ^tux匹配以tux起始的行

$   行尾标记	    tux$匹配以tux结尾的行

.   匹配任意一个字符    它只能匹配单个字符

[]  匹配包含在[字符]之中的任意一个字符        coo[kl] 匹配cook或cool

[^] 匹配除[^字符]之外的任意字符       9[^01]    匹配92,93...但是不匹配90或91

?   匹配之前的项1次或0次             colou?r匹配color或colour

+   匹配之前的项1次或多次               rollno9+匹配rollno9或rollno99...

*   匹配之前的项0次或多次

()  创建一个用于匹配的子串             ma(tri)?x匹配max或matrix

{n} 匹配之前的项n次                    [0-9]{3}匹配任意一个三位数

{n,}    之前的项至少需要匹配n次            [0-9]{2,}匹配任意一个两位数或更多位的数字

{n,m}   指定之前的项匹配的最小和最大次数         [0-9]{2,5}匹配两位数到五位数之间的任意一个数字

|   交替匹配|两边的任意一项                 Oct (1st | 2nd) 匹配Oct 1st或Oct2nd

\   转义符可以将上面介绍的特殊字符进行转义                     a\.b,匹配a.b,通常在.之前加上\而忽略了.的特殊意义


正则表达式模式是贪婪模式，也就是说它会尽可能的去匹配能匹配的字符串。
举个例子

cat 1.txt
#[tupian](http://www/baidu.com/1.jpg) hate you [wenjian](http://www.baidu.com/1.html)

我们要把[]和()内的内容提取出来

cat 1.txt | grep -oP '\[.+\]\(.+\)'
#[tupian](http://www/baidu.com/1.jpg) hate you [wenjian](http://www.baidu.com/1.html)

因为默认是贪婪匹配，所以‘\[.+’将整句的字符都匹配了，而不去匹配‘\]\(.+\)’
通过在 + 后面加个问号，即可实现非贪婪匹配，也就是它会尽可能少的去匹配字符

cat 1.txt | grep -oP '\[.+?\]\(.+?\)'
#[tupian](http://www/baidu.com/1.jpg)
#[wenjian](http://www.baidu.com/1.html)

接着我将[]以及()内的内容提取出来

cat 1.txt | grep -oP '\[.+?\]\(.+?\)'|sed -r 's/\[(.*?)\]\((.*?)\)/\1 \2/g'
#tupian http://www/baidu.com/1.jpg
#wenjian http://www.baidu.com/1.html

总结：?可用于实现非贪婪匹配，大多用在 * 和 + 之后

命令格式：

grep [-cinvABC] 'word' filename
-c  表示打印符合要求的行数
-i  表示忽略大小写
-n  表示输出符合要求的行及行号
-v  表示打印不符合要求的行
-o  表示只输出文件中匹配到的文本部分(需要使用扩展的正则表达式）

+ 是不支持被grep直接使用的

-A  后面跟一个数字（有无空格均可），例如-A2表示打印符合要求的行以及下面两行
-B  后面跟一个数字（有无空格均可），例如-B2表示打印符合要求的行以及上面两行
-C  后面跟一个数字（有无空格均可），例如-C2表示打印符合要求的行以及上下各两行
-E  扩展正则表达式（可减少\的使用） 如同sed中的-r选项   或直接使用 egrep 也可

-P  表示启用Perl正则表达式
grep -A2 'halt' /etc/passwd
#halt:x:7:0:halt:/sbin:/sbin/halt
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin

#过滤出带有某个关键字的行，并输出行号
grep -n 'root' /etc/passwd
#1:root:x:0:0:root:/root:/bin/bash
#10:operator:x:11:0:operator:/root:/sbin/nologin

#过滤出不带有某个关键字的行，并输出行号
grep -vn 'nologin' /etc/passwd
#1:root:x:0:0:root:/root:/bin/bash
#6:sync:x:5:0:sync:/sbin:/bin/sync
#7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
#8:halt:x:7:0:halt:/sbin:/sbin/halt

#过滤出所有包含数字的行
grep '[0-9]' /etc/inittab
# multi-user.target: analogous to runlevel 3
# graphical.target: analogous to runlevel 5

#过滤出所有不包含数字的行
grep -v '[0-9]' /etc/inittab

#过滤出所有以#号开头的行
grep -v '^#' /etc/init.d/mysqld

过滤出所有以空行或以#开头的行
grep -v '^#' /etc/init.d/mysqld | grep -v '^$'

#过滤出任意一个字符和重复字符
grep 'r.o' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#operator:x:11:0:operator:/root:/sbin/nologin

cat /etc/passwd |wc -l
#19
grep '.*' /etc/passwd |wc -l
#19

echo this is a line. | grep -o '[a-z]+\.'

#指定要过滤的字符出现的次数
#{}不支持grep直接使用，需要加上\
grep 'o\{2\}' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#postfix:x:89:89::/var/spool/postfix:/sbin/nologin


#过滤出一个或多个指定的字符
#+号不支持grep直接使用,需要加上\
egrep 'oo+' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#postfix:x:89:89::/var/spool/postfix:/sbin/nologin


#也可加上-E选项
grep -E 'oo+' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#postfix:x:89:89::/var/spool/postfix:/sbin/nologin

#过滤出零个或一个指定的字符
egrep 'ooo?' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#postfix:x:89:89::/var/spool/postfix:/sbin/nologin

#过滤出子串1或字符串2
egrep 'root|mysql' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#operator:x:11:0:operator:/root:/sbin/nologin
#mysql:x:1000:1000::/home/mysql:/sbin/nologin

#egrep中()的使用
egrep '(oo)+' /etc/passwd
#root:x:0:0:root:/root:/bin/bash
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#postfix:x:89:89::/var/spool/postfix:/sbin/nologin

#统计行数
egrep -c '(oo)+' /etc/passwd | grep -c
#5
cxs123678
关注
专栏目录
Shell文本处理三剑客之一grep
qq_43309149的博客
02-17 291
Shell文本处理三剑客之一grep grep命令: grep(Global search regular expression andprint out the line(全面搜索研究正则表达式并显示出来)，grep命令时支持正则表达式(元字符有特殊含义) 作用：grep命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文件进行匹配(pattern)：由正则表达式或者字符及基本文...
Linux文本处理三剑客之grep、awk、sed
qq_44212783的博客
07-14 300
文本处理三剑客grep、awk、sed
grep 打印相关行内容
weixin_30856725的博客
10-30 293
grep 打印相关行数常用参数： -r：关键字 -c：打印符合要求的行数 -i：忽略大小写 -n：输出行和行号 -v：打印不符合要求的行，即反选 -A：后跟数字(有无空格都可以)，例如 -A3表示打印筛选行及前3行 -B：后跟数字，例如 -B3表示打印筛选行及后3行 -C：后跟数字，例如 -C3表示打印筛选行及前后各3行 -o：只打印符合要求的内容，而非整行 ^ ：表示行首...
少量Linux练习题（附答案）
weixin_30426957的博客
08-23 8598
1.如果我在当前在/目录下，之后执行了以下操作，请告诉我，最后我所在的目录位置 cd /etc/sysconfig/ cd .. cd .. cd - cd ~ cd .. 根目录 / 2.当前用户是root用户，当前所在位置是/usr/local ，输入cd命令后，当前所在目录是哪里？ 用户的家目录 3.显示当前所在位置信息 pwd 4.批量创建oldboy01,oldboy02,.....
grep 使用的一个问题
小猪爱拱地
09-06 661
先看下面的命令： echo -e "123\nabc\n456" | grep -e [1-9]按理，应该输出 123 456 ，但实际上，什么输出都没有。。 经过检查，终于发现原因： 在当前目录下，有几个名字为 1,2，3的文本文件，而且这几个文件里面，都不包含数字。所以，输出为空。
shell中grep命令详解
FeelTouch Labs
11-27 4210
grep(Globel Search Regular Expression and Printing out the line)全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，是一个对行进行操作的搜索工作，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。 egrep表示扩展的grep，相比grep支持更多的元字符，"grep
linux三剑客awk、sed、grep与cut的总结
sym的博客
11-25 1825
Linux三剑客：awk、sed、grep和cut、正则表达式等使用技巧。
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
文本三剑客之grep及正则表达式 -.pdf
07-28
### 文本三剑客之grep及正则表达式 #### 1. grep 命令简介 - **定义**：`grep` 是 Linux 和 Unix 系统中的一种强大的文本搜索工具，它能够使用正则表达式来搜索文本，并将匹配的行打印出来。其全称是 Global ...
文本处理三剑客grep、sed、awk
哭的博客
09-16 703
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用。awk 处理的工作方式与数据库类似，支持对记录和字段处理，这也是 grep 和 sed 不能实现的。sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。在 awk 中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的。pattern1，pattern2 范围模式，匹配所有模式1的记录，直到匹配到模式2。$后跟数字，引用对应的字段，以逗号分隔，0 表示整个行。
01-shell文本处理三剑客之grep
当法律与事业相遇
06-07 3646
开篇：哈喽，今天我想写写shell编程，打算平均一天一篇吧，这样一个月后就可以进步比较多。 先从shell文本处理三剑客grep、sed、awk开始。听说啊，要是我不会这个命令，就不好意思说自己会shell编程。1 grep是什么意思？grep: Global search REgular expression and Print out the line. 文本搜索工具，根据用户指定的“模式（
【每日一句shell】grep匹配符合多个条件的行
卢说
09-27 5439
实例如下：egrep -i '^(From | Subject | Date): ' maixbox可以匹配出如下文本： From:wsj@qq.com Subject:We want you Date:Mon,21 Sep 2017 11:20:10
grep命令
zt_96123的博客
10-13 987
第一题： 1. 研发部开发人员David和Peter属于组A；行政部人员Jack和Mike属于组B 创建用户David和Peter—>创建组A—>使David和Peter属
Linux 常用基本命令 cat grep
Alan Zhuang的博客
07-14 1万+
查看或者合并文件内容：cat      1.  一次显示整个文件。$ cat filename。例：cat b.txt         2.将几个文件合并为一个文件： $cat file1 file2 > file。 例：cat a.txt b.txt >a_b.txt         参数：     -n 或 --number 由 1 开始对所有输出的行数编号     -b 或 -
shell脚本抽取文本文件中指定字符串的方法：sed+grep方法、awk+grep方法（必要时可以联合sed以及grep）、grep+cut方法
热门推荐
menlinshuangxi的专栏
09-14 16万+
在linux中经常要对一些动态的文本文件抽取指定的字符串，比如执行ps命令后想要获取指定的运行进程（如ps自己）的PID号(同一个进程每次启动的时候pid号是随机分配的)。该怎么办呢？当然，可以用一些截取字符串的方法，这里介绍一下用2种方法来解决这类问题。 一、sed+grep方法： 首先大概了解一下sed，sed是linux里面一个非交互性的文本流编辑器（好长的定义，反正我听起来我很拗口）。
shell之获取系统信息
cxs123678的博客
03-24 3817
获取系统信息比赛规则 仔细阅读题目描述，在实验环境中完成任务 完成任务后点击文档下方的提交结果按钮 系统自动评测并给出是否通过的信息 获取系统信息 简介 小楼是一个系统管理员，需要编写一个脚本 getinfo.sh 获取 Linux 服务器的 CPU、内存等信息。脚本 getinfo.sh 脚本执行时候不需要任何参数，输出的内容包括以下信息：$ bash getinfo.sh cpu num:
shell打印正三角形
cxs123678的博客
03-22 2889
用shell打印出一个正三角形#!/bin/bashfor i in 1 3 5 7 9 do for j in `seq $[$[9-$i]/2]` do echo -n ' ' done for m in `seq $i` do echo -n '*' done echo done运行结果
shell的文本三剑客
最新发布
08-24
Shell 的文本三剑客是指 grep、sed 和 awk。 1. grep (Global Regular Expression Print) 是一个强大的文本搜索工具，它可以搜索文件中符合指定模式的行，并将其打印出来。grep 支持正则表达式，可以用来快速过滤和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值