Grep学习笔记

Grep学习笔记

整理：Jims of 肥肥世家

<yjnet@21cn.com>

Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。

第一次发布时间：2004年7月16日

---

1. grep简介

grep（global search regular expression(RE) and print out theline,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符，fgrep就是fixed grep或fastgrep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到屏幕，不影响原文件内容。

grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。

2. grep正则表达式元字符集（基本集）

^

锚定行的开始 如：'^grep'匹配所有以grep开头的行。

$

锚定行的结束 如：'grep$'匹配所有以grep结尾的行。

.

匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。

*

匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。 .*一起用代表任意字符。

[]

匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。

[^]

匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。

\(..\)

标记匹配字符，如'\(love\)'，love被标记为1。

\<

锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。

\>

锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。

x\{m\}

重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。

x\{m,\}

重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。

x\{m,n\}

重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。

\w

匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。

\W

\w的反置形式，匹配一个或多个非单词字符，如点号句号等。

\b

单词锁定符，如: '\bgrep\b'只匹配grep。

3. 用于egrep和 grep -E的元字符扩展集

+

匹配一个或多个先前的字符。如：'[a-z]+able'，匹配一个或多个小写字母后跟able的串，如loveable,enable,disable等。

?

匹配零个或多个先前的字符。如：'gr?p'匹配gr后跟一个或没有字符，然后是p的行。

a|b|c

匹配a或b或c。如：grep|sed匹配grep或sed

()

分组符号，如：love(able|rs)ov+匹配loveable或lovers，匹配一个或多个ov。

x{m},x{m,},x{m,n}

作用同x\{m\},x\{m,\},x\{m,n\}

4. POSIX字符类

为了在不同国家的字符编码中保持一至，POSIX(The Portable Operating SystemInterface)增加了特殊的字符类，如[:alnum:]是A-Za-z0-9的另一个写法。要把它们放到[]号内才能成为正则表达式，如[A-Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符类。

[:alnum:]

文字数字字符

[:alpha:]

文字字符

[:digit:]

数字字符

[:graph:]

非空字符（非空格、控制字符）

[:lower:]

小写字符

[:cntrl:]

控制字符

[:print:]

非空字符（包括空格）

[:punct:]

标点符号

[:space:]

所有空白字符（新行，空格，制表符）

[:upper:]

大写字符

[:xdigit:]

十六进制数字（0-9，a-f，A-F）

5. Grep命令选项

-?

同时显示匹配行上下的？行，如：grep -2 pattern filename同时显示匹配行的上下2行。

-b，--byte-offset

打印匹配行前面打印该行所在的块号码。

-c,--count

只打印匹配的行数，不显示匹配的内容。

-f File，--file=File

从文件中提取模板。空文件中包含0个模板，所以什么都不匹配。

-h，--no-filename

当搜索多个文件时，不显示匹配文件名前缀。

-i，--ignore-case

忽略大小写差别。

-q，--quiet

取消显示，只返回退出状态。0则表示找到了匹配的行。

-l，--files-with-matches

打印匹配模板的文件清单。

-L，--files-without-match

打印不匹配模板的文件清单。

-n，--line-number

在匹配的行前面打印行号。

-s，--silent

不显示关于不存在或者无法读取文件的错误信息。

-v，--revert-match

反检索，只显示不匹配的行。

-w，--word-regexp

如果被\<和\>引用，就把表达式做为一个单词搜索。

-V，--version

显示软件版本信息。

6. 实例

要用好grep这个工具，其实就是要写好正则表达式，所以这里不对grep的所有功能进行实例讲解，只列几个例子，讲解一个正则表达式的写法。

$ ls -l | grep '^a'

通过管道过滤ls -l输出的内容，只显示以a开头的行。

$ grep 'test' d*

显示所有以d开头的文件中包含test的行。

$ grep 'test' aa bb cc

显示在aa，bb，cc文件中匹配test的行。

$ grep '[a-z]\{5\}' aa

显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

$ grep 'w\(es\)t.*\1' aa

如果west被匹配，则es就被存储到内存中，并标记为1，然后搜索任意个字符（.*），这些字符后面紧跟着另外一个es（\1），找到就显示该行。如果用egrep或grep -E，就不用"\"号进行转义，直接写成'w(es)t.*\1'就可以了。

原文地址

• 高亮显示
• grep include 或

---

这个--include选项, 可以这样使用:
grep -rn --include='*.c' --include='*.h' re .

可以指定多次, 如果真是上面的这种情况,  其实可以用
grep -rn --include='*.[ch]' re .

但是, 如果源文件中含有C++源代码, 上面的方法就不凑效了, 因为[]中只能放一个字符.
grep -rn --include='*.{cpp,h}' 也是不行的.
此时需要不加引号的展开(由bash执行grep之前就已经完成, 可以通过set -x观察)

grep -rn --include=*.{cpp,h} re .

bash中对{A,B}这种形式的展开, 会忽略是否在当前目录下存在相应的文件. 这样的写法, 可以避免手指累残在命令行上.

---

 

高亮显示

grep --color=auto 'pattern'   'text'

 

echo -e '\e[34mhaha\e[m'  这样会输出带颜色的字符串 -e 表示特殊处理 \e 这个 \e必须跟着 [符号

 

 

grep 常用 

grep [-acinv] '搜寻字符串' filename

参数说明：

-a ：将 binary 档案以 text 档案的方式搜寻数据

-c ：计算找到 '搜寻字符串' 的次数

-i ：忽略大小写的不同，所以大小写视为相同

-n ：顺便输出行号

-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！

 

 

1.搜索特定的字符 

grep 'oo' pp.txt  以下仅仅用 pp 代表 pp.txt

 

查看显示字符的行数  

grep -n 'oo' pp 

 

查看非oo的字符 

grep -v 'oo' pp

 

查看大小写忽略的字符

grep -i 'oo' p

 

 

2.利用[]处理搜索结果

查看 tast 和 test的字符串

grep -n 't[ae]st' pp  这里[ae]只当一个字符处理 a 或者是 e 这样就能匹配 上面的要求

 

若是希望匹配 t(x)st 这个x是任意的字符的话，那么可以如下处理方式

grep 't[.]st' pp  .符号代表任意的字符

 

查看包含oo字符的信息

grep -n 'oo' pp

 

若是希望在oo之前没有g的字符信息

grep -n '[^g]oo' pp 这里的^就是取反的意思 非goo得字符

 

取前面非字符的字符

grep -n '[^a-zA-Z]oo' pp 

 

得到数字的字符的话

grep -n '[0-9]' pp  // 其实这个等同于  grep -n '[0-9[0-9]*' pp * 代表0个或是多个重复的信息

 

 

3.行首和行尾的特殊处理 $^ 

若是希望取得第一行是 the 开头的字符行

grep -n '^the' pp 

 

若是希望取得以英文字符开头的字符

grep -n '^[a-zA-Z]' pp

 

取得不是以英文字符开头的信息

grep -n '^[^a-zA-Z]' pp   // 里面的^是取反 外面的^是以上面开头

 

取得小数点结尾的行

grep -n '\.$' pp     //小数点是特殊字符 需要用\进行转义

注意在windows下 换行时 ^M 这个符号 

 

 

取得一个空行的方式

grep -n '^$' pp 这里就是取空行了

 

希望取得所有文档中非注释掉得内容的话 那么可如下

grep -v '^$' pp|grep -v ^#              第一个是取非空行的数据 第一个管道是取非#开头的数据

我像有时候更多的是取 #开头的行

grep -n '^#' pp 

 

4.任意字符和重复字符

. ：绝对的任意字符

* :0个或是多个相同字符

 

要查看gf中间是两个字符的数据

grep -n 'g..f' pp

 

至少有一个是o的字符串

grep -n 'oo*' pp  //因为*代表0个或是多个

 

以g开头和结尾，中间至少一个o

grep -n 'goo*g' 

 

查找gg中间是任意字符的字符串

grep -n 'g.*g' pp 这里.就代表任意字符

 

5.限定符 {}

查看g和p之间存在两个连个o的字符串

grep -n 'go\{2,5\}p'

 

查找至少两个的字符创

grep -n 'go\{2,\}p' pp

 

查找只有两个的字符串

grep -n 'go\{2\}p' pp

 

 

6.重要的特殊字符

 

^word待搜寻的字符串(word)在行首！

范例：grep -n '^#' pp 搜寻行首为 # 开始的那一行！

 

 

word$待搜寻的字符串(word)在行尾！

范例：grep -n '!$' pp 将行尾为 ! 的那一行打印出来！

 

 

.代表任意的一个字符

范例; grep -n 'g.' pp 将是g开头的两个字符打印出来

 

 

\将特殊字符转义

范例：grep -n \' pp  搜索有单引号的那一行

 

*：匹配0个或是多个字符

grep -n 'o*' pp 匹配拥有零个或是多个o的字符

 

\{n,m\} :匹配的个数

grep -n 'o\{2\}' pp 打印出拥有两个oo的字符

 

[]匹配单个字符 

  1.[list] : [abl] 匹配 abl中任意一个

  2.[^xx]:对其中的字符进行取反  这里只能对的那个字符进行取反 若是希望是多个字符取反的话 还需要看看

  3.[char1-char2]:匹配某个范围之内的数据 例如 [a-z][A-Z][0-9]

 

7.扩张的grep --- >　egrep  这个等同于 grep -E 

 

grep -v '^$' pp | grep -v '^#'

通过egrep来表示就是

egrep -v '^$|^'

 

8.查找内容有“或”的关系：

#查找数字为23或24的内容，并显示内容与行号

grep -E '23|24' * -n

 

9.查找data.txt文件有多少个空行：

grep '^$' data.txt -c

 

10.查询当前目录中还有多少个目录：

ls -l | grep '^d'

 

11.查找data.txt文件字符串尾部为a的内容

grep 'a$' data.txt -i -n

 

$ grep "sort it" *      (#或在所有文件中查询单词“sort it”)

接下来的所有示例是指在单个文件中进行查询
 行匹配
$ grep -c "48" data.f
$ 4                      (#g r e p返回数字4，意义是有4行包含字符串“4 8”。)
$ grep "48" data.f          (#显示包含“4 8”字符串的4行文本)

 显示满足匹配模式的所有行行数：
[root@mypc oid2000]# grep -n 1234 111.txt 
1:1234
3:1234ab

6. 精确匹配
[root@mypc oid2000]# grep "1234\>" 111.txt 
1234

7. 查询空行，查询以某个条件开头或者结尾的行。
结合使用^和$可查询空行。使用- n参数显示实际行数
[root@mypc oid2000]# grep -n "^$" 111.txt    (返回结果 2:   #说明第二行是空行)
[root@mypc oid2000]# grep -n "^abc" 111.txt （#查询以abc开头的行）
[root@mypc oid2000]# grep -n "abc$" 111.txt (#查询以abc结尾的行)

8. 匹配特殊字符,查询有特殊含义的字符，诸如$ . ' " * [] ^ | \ + ? ,必须在特定字符前加\。
[root@mypc oid2000]# grep "\." 111.txt (#在111.txt中查询包含“.”的所有行)
[root@mypc oid2000]# grep "my\.conf" 111.txt (#查询有文件名my. c o n f的行)

9. 目录的查询
[root@mypc oid2000]# ls –l |grep “^d”   (#如果要查询目录列表中的目录)
[root@mypc oid2000]# ls –l |grep “^d[d]” (#在一个目录中查询不包含目录的所有文件)
[root@mypc]# ls –l |grep “^d…..x..x” (#查询其他用户和用户组成员有可执行权限的目录集合)

10.排除自身

ps -ef|grep telnet | grep -v grep （在显示的进程中抽出“telnet”进程；并丢弃ps中的grep进程）

 

egrep的几个特殊字符

+ ：至少一个或是多个   egrep -n 'go+d' pp

？：0个或是一个        egrep -n 'go?d' pp

| ：用或的方式来查找   egrep -n 'go|good' pp 查找go或是good

():找出群组的数据      egrep -n 'g(o|pp)d' pp 查看god 或是gppd  这个类似于 [] 但是比[]强大的是可以是多个字符进行乱换

egrep -n 'd(r|o)e' pp  ===== grep -n 'd[ro]e' pp