shell编程，正则表达式介绍,grep命令的使用

正则表达式介绍,grep、sed和swk命令的使用

随着对UNIX和LINUX熟悉程度的不断加深，需要经常接触到正则表达式这个领域。使用shell时，从一个文件中抽取多于一个字符串将会很麻烦。例如，在一个文本中抽取一个词，它的头两个字符是大写的，后面紧跟四个数字。如果不使用某种正则表达式，在shell中将不能实现这个操作。

本文内容包括：
• 匹配行首与行尾。
• 匹配数据集。
• 只匹配字母和数字。
• 匹配一定范围内的字符串集。
当从一个文件或命令输出中抽取或过滤文本时，可以使用正则表达式（RE），正则表达式是一些特殊或不很特殊的字符串模式的集合。为了抽取或获得信息，我们给出抽取操作应遵守的一些规则。这些规则由一些特殊字符或进行模式匹配操作时使用的元字符组成。也可以使用规则字符作为模式中的一部分进行搜寻。例如，A将查询A，x将查找字母x。系统自带的所有大的文本过滤工具在某种模式下都支持正则表达式的使用，并且还包括一些扩展的元字符集。这里只涉及其中之一，即以字符出现情况进行匹配的表达式，原因是一些系统将这类模式划分为一组形成基本元字符的集合。这是一个好想法，本书也采用这种方式。

基本元字符集及其含义

^ 只匹配行首
$ 只匹配行尾
* 只一个单字符后紧跟*，匹配0个或多个此单字符
[ ] 只匹配[ ]内字符。可以是一个单字符，也可以是字符序列。可以使用-表示[ ]内字符序列范围，如用[ 1-5 ]代替[12345 ]
\ 只用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。\可以使其失去应有意义. 只匹配任意单字符
pattern\ {n\} 只用来匹配前面pattern出现次数。n为次数
pattern\ {n,\ }m 只含义同上，但次数最少为n
pattern\ {n,m\ } 只含义同上，但pattern出现次数在n与m之间

经常使用的正则表达式举例

^ 对行首
$ 对行尾
^ [the ] 对以the开头行
[Ss]igna[lL] 对匹配单词signal、signaL、Signal、SignaL[Ss]igna[lL]\. 对同上，但加一句点
[mayMAY] 对包含may大写或小写字母的行
^USER$ 对只包含USER的行
[tty]$ 对以tty结尾的行
\ . 对带句点的行
^ d..x..x..x 对用户、用户组及其他用户组成员有可执行权限的目录
^[^l] 对排除关联目录的目录列表
[.*0] 对0之前或之后加任意字符
[000*] 对0 0 0或更多个
[iI] 对大写或小写I
[iI][nN] 对大写或小写i或n
[^$] 对空行
[^.*$] 对匹配行中任意字符串
^......$ 对包括6个字符的行
[a-zA-Z] 对任意单字符
[a-z][a-z]* 对至少一个小写字母
[^0-9\$ ] 对非数字或美元标识
[^0-0A-Za-z] 对非数字或字母
[123] 对1到3中一个数字
[Dd]evice 对单词device或Device
De..ce 对前两个字母为De，后跟两个任意字符，最后为c e
\^q 对以^ q开始行
^.$ 对仅有一个字符的行
^\.[0-9][0-9] 对以一个句点和两个数字开始的行
'"Device"' 对单词device
De[Vv]ice\ . 对单词Device或device
[0-9]\{2\}-[0-9]\{2\}-[0-9]\{4\ } 对日期格式dd-mm-yyyy
[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\} 对IP地址格式nnn. nnn.nnn.nnn
[^.*$] 对匹配任意行

grep , sed和awk的使用

1 grep 使用

相信grep是UNIX和LINUX中使用最广泛的命令之一。grep（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式，grep打印包含模式的所有行。grep支持基本正则表达式，也支持其扩展集。grep有三种变形，即：

Grep：标准grep命令，本文大部分篇幅集中讨论此格式。
Egrep：扩展grep，支持基本及扩展的正则表达式，但不支持\ q模式范围的应用，与之相对应的一些更加规范的模式，这里也不予讨论。
Fgrep：快速grep。允许查找字符串而不是一个模式。不要误解单词fast，实际上它与grep速度相当。

开始讨论之前，先生成一个文件，插入一段文本，并在每列后加入< Tab >键，grep命令示例中绝大多数将以此为例，其命名为data . f。data.f的记录结构如下：

第1列：城市位置编号。
第2列：月份。
第3列：存储代码及出库年份。
第4列：产品代号。
第5列：产品统一标价。
第6列：标识号。
第7列：合格数量。

$pg data.f

48      Dec     3BC1997 LPSX    68.00   LVX2A   138
483     Sept    5AP1996 USP     65.00   LVX2C   189
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     Dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644
216     sept    3ZL1998 USP     86.00   KVM9E   234

grep 命令格式

grep一般格式为：grep [选项]基本正则表达式[文件]，这里的基本正则表达式可为字符串。在grep命令中输入字符串参数时，最好将其用双引号括起来。例如：“mystring”。这样做有两个原因，一是以防被误解为shell命令，二是可以用来查找多个单词组成的字符串，例如：“jet plane”，如果不用双引号将其括起来，那么单词plane将被误认为是一个文件，查询结果将返回“文件不存在”的错误信息。
在调用变量时，也应该使用双引号，诸如： grep“$MYVAR”文件名，如果不这样，将没有返回结果。在调用模式匹配时，应使用单引号。

grep选项

常用的grep选项有：
-c 只输出匹配行的计数。
-i 不区分大小写（只适用于单字符）。
-h 查询多文件时不显示文件名。
-l 查询多文件时只输出包含匹配字符的文件名。
-n 显示匹配行及行号。
-s 不显示不存在或无匹配文本的错误信息。
-v 显示不包含匹配文本的所有行。

查询多个文件

如果要在当前目录下所有. d o c文件中查找字符串“ s o r t”，方法如下：
$ grep "sort"*.doc
或在所有文件中查询单词“ sort it”
$ grep "sort it" *
现在讲述在文本文件中g r e p选项的用法。

行匹配

$ grep -c "48"data.f
$ 4
grep返回数字4，意义是有4行包含字符串“4 8”。现在显示包含“48”字符串的4行文本：

?  ~  grep '48' data.f
48      Dec     3BC1997 LPSX    68.00   LVX2A   138
483     Sept    5AP1996 USP     65.00   LVX2C   189
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644

行数

显示满足匹配模式的所有行行数：行数在输出第一列，后跟包含48的每一匹配行。

➜  ~  grep -n '48' data.f
1:48      Dec     3BC1997 LPSX    68.00   LVX2A   138
2:483     Sept    5AP1996 USP     65.00   LVX2C   189
5:484     nov     7PL1996 CAD     49.00   PLV2C   234
6:483     may     5PA1998 USP     37.00   KVM9D   644

显示非匹配行

➜  ~  grep -v '48' data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     Dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234

显示所有不包含4 8的各行：

➜  ~  grep -v '^[48]' data.f
219     Dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234

精确匹配

可能大家已注意到，在上一例中，抽取字符串“ 48”，返回结果包含诸如484和483等包含“48”的其他字符串，实际上应精确抽取只包含48的各行。注意在每个匹配模式中抽取字符串
后有一个< Tab >键，所以应操作如下：

➜  ~  grep '48\>' data.f
48      Dec     3BC1997 LPSX    68.00   LVX2A   138

大小写敏感

缺省情况下，grep是大小写敏感的，如要查询大小写不敏感字符串，必须使用- i开关。在data.f文件中有月份字符Sept，既有大写也有小写，要取得此字符串大小写不敏感查询，方法
如下：

➜  ~  grep -i 'sept' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
216     sept    3ZL1998 USP     86.00   KVM9E   234

grep和正则表达式

使用正则表达式使模式匹配加入一些规则，因此可以在抽取信息中加入更多选择。使用正则表达式时最好用单引号括起来，这样可以防止grep中使用的专有模式与一些shell命令的特殊方式相混淆。

模式范围

假定要抽取代码为48 和483的城市位置，可以使用[ ]来指定字符串范围，这里用48开始，以3或4结尾，这样抽出484或483。

➜  ~  grep "48[34]" data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644

不匹配行首

如果要抽出记录，使其行首不是48，可以在方括号中使用^记号，表明查询在行首开始。

➜  ~  grep '^[^48]' data.f
219     Dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234

设置大小写

使用-i开关可以屏蔽月份Sept的大小写敏感，也可以用另一种方式。这里使用[ ]模式抽取各行包含Sep t和sep t的所有信息。

➜  ~  grep '[Ss]ep' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
216     sept    3ZL1998 USP     86.00   KVM9E   234

匹配任意字符

如果抽取以K 开头，以D结尾的所有代码，可使用下述方法，因为已知代码长度为5个字符：

➜  ~  grep 'K...D' data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
483     may     5PA1998 USP     37.00   KVM9D   644

日期查询

一个常用的查询模式是日期查询。先查询所有以5开始以1996或1998结尾的所有记录。使用模式5 . . 199[6,8]。这意味着第一个字符为5，后跟两个点，接着是199，剩余两个数字是6或
8。

➜  ~  grep '5..199[68]' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
483     may     5PA1998 USP     37.00   KVM9D   644

范围组合

必须学会使用[ ]抽取信息。假定要取得城市代码，第一个字符为任意字符，第二个字符在0到5之间，第三个字符在0到6之间，使用下列模式即可实现。

➜  ~  grep '.[0-5][0-6]' data.f
48      Dec     3BC1997 LPSX    68.00   LVX2A   138
483     Sept    5AP1996 USP     65.00   LVX2C   189
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     Dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644
216     sept    3ZL1998 USP     86.00   KVM9E   234

模式出现机率

抽取包含数字4至少重复出现两次的所有行，方法如下：

➜  ~  grep '4\{2,\}' data.f
483     may     5PA1998 USP     37.00   KVM9D   644

使用grep匹配“与”或者“或”模式

grep命令加-E参数，这一扩展允许使用扩展模式匹配。例如，要抽取城市代码为219或216，方法如下：

➜  ~  grep -E '219|216' data.f
219     Dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234

匹配特殊字符

查询有特殊含义的字符，诸如$ . ' " * [] ^ | \ + ? ,必须在特定字符前加\。假设要查询包含“.”的所有行，脚本如下：$ grep '\.' myfile

类名

grep允许使用国际字符模式匹配或匹配模式的类名形式。

类名及其等价的正则表达式

类	等价的正则表达式	类	等价的正则表达式
[[:upper:]]	[A-Z]	[[:alnum:]]	[0-9a-zA-z]
[[:lower:]]	[a-z]	[[:space:]]	空格或tab键
[[:digit:]]	[0-9]	[[:alpha:]]	[a-zA-Z]

现举例说明其使用方式。要抽取产品代码，该代码以5开头，后跟至少两个大写字母。使用的脚本如下：

➜  ~  grep -E '5[[:upper:]][[:upper:]]' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
483     may     5PA1998 USP     37.00   KVM9D   644

系统grep命令

使用已学过的知识可以很容易通过grep命令获得系统信息。下面几个例子中，将用到管道命令，即符号|，使用它左边命令的输出结果作为它右边命令的输入。

➜  ~  ls -l | grep '^d'
drwxrwxr-x  2 yifeng yifeng      4096 Aug 12 18:22 cpp
drwxr-xr-x  8 yifeng yifeng      4096 Aug 12 09:18 cpp-yifeng
drwxrwxr-x  4 yifeng yifeng      4096 Aug 12 09:52 hwapp
drwxrwxr-x  3 yifeng yifeng      4096 Aug 12 09:18 kjmr
drwxrwxr-x 21 yifeng yifeng      4096 Aug 12 09:19 openssl-1.0.2l
drwxrwxr-x 10 yifeng yifeng      4096 Aug 12 09:19 openssl-fips-2.0.16
drwxr-xr-x  8 yifeng yifeng      4096 Aug 12 09:27 php
drwxrwxr-x  6 yifeng yifeng      4096 Aug 13 07:43 projects
drwxr-xr-x  9 yifeng yifeng      4096 Aug 12 09:27 vmware-tools-distrib
drwxr-xr-x 21 yifeng yifeng      4096 Sep  1 09:48 yifeng-src-2.0.7

egrep

egrep代表expression或extended grep，适情况而定。egrep接受所有的正则表达式， egrep的一个显著特性是可以以一个文件作为保存的字符串，然后将之传给egrep作为参数，为此使用- f开关。如果创建一个名为grepstring s的文件，并输入484和47：

➜  ~  vi grepstring 
➜  ~  pg grepstring
484
47
➜  ~  grep -f grepstring data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
484     nov     7PL1996 CAD     49.00   PLV2C   234

希望大家已经理解了grep的灵活性，它是一个很强大而流行的工具，像其他许多UNIX工具一样，已经被使用在DOS中。如果要通过文件快速查找字符串或模式， grep是一个很好的选择。