正则表达式很有用, 有些书专门用整本书来讲这个, 可见其博大精深。 有人的地方就有江湖, 有字符串的地方就有正则表达式。所谓的正则表达式, 不过是一种模式/形式罢了, 说白了, 就是一个字符串形式, 没那么玄乎其玄。
我们之前介绍过的grep, sed和awk是一种文本/字符串处理工具, 而正则表达式却不同, 它只是一种字符串形式。 我们可以用grep, sed和awk对正则表达式进行处理。 为了方便集中介绍正则表达式, 我们用最简单的grep来做处理工具。
正则表达式也不同于通配符, 尽管也有类似的地方。 在正则表达式中的*和通配符中的*就不是一个意思, 这一点务必引起重视。
除了基本的正则表达式外, 实际上还有扩展的正则表达式, 比如+, ?, ()等东东, 此时我们要用egrep或者grep -E, 在本文中, 我们用egrep.
以实践操作为荣, 以只看不练为耻。 在本文中,我们仅仅进行基本介绍, 后续有新东西添加到本博客中, 我们一起来玩玩吧:
1. ^xxx表示以xxx开始的行, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep ^go test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$
2. xxx$表示以xxx结尾的行, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep up$ test.txt
daydayup
Administrator@51B6904C3C8A485 ~/reg
$
顺便说一下, ^$可以表示空行, 这个显而易见。
3. 点表示除了换行符之外的任意一个字符, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep d.y test.txt
daydayup
Administrator@51B6904C3C8A485 ~/reg
$
再来看一个错误的用法:
Administrator@51B6904C3C8A485 ~/reg
$ echo "w.x.y.z" | grep "w.x"
w.x.y.z
Administrator@51B6904C3C8A485 ~/reg
$
结果虽然侥幸正确, 但这仅仅是碰巧而已, 不信, 请看:
Administrator@51B6904C3C8A485 ~/reg
$ echo "w_x_y_z" | grep "w.x"
w_x_y_z
Administrator@51B6904C3C8A485 ~/reg
$
为什么过滤w.x的时候, 却把w_x_y_z过滤出来了呢? 原来, 在正则表达式中, 点不再是普通的点了, 点表示的是换行符之外的任意一个字符。 但倘若我们就是要过滤w.x这个串, 怎么办呢? 那就必须要用到\来转义了, 我们即将会介绍, 先来热热身:
Administrator@51B6904C3C8A485 ~/reg
$ echo "www.x.y.z" | grep "w\.x"
www.x.y.z
Administrator@51B6904C3C8A485 ~/reg
$ echo "w_x_y_z" | grep "w\.x"
Administrator@51B6904C3C8A485 ~/reg
$
这就对了。
4. *表示前面模式的0次或者多次重复, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep d.*y test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep s.*t test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$ grep s.t test.txt
Administrator@51B6904C3C8A485 ~/reg
比如注意, s.t并无法过滤出对应的行, 而s.*t却可以, 因为.*表示0个或者多个字符。
5. []用来指定一个字符所述的集合, 要注意,[]只会匹配其中的某个字符, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep s[rst]u test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$ grep s[abc]u test.txt
Administrator@51B6904C3C8A485 ~/reg
$
如果要表示所有的英文字母, 那该用怎样的集合呢? 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep s[a-zA-Z]u test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$
如果是数字, 那就用[0-9]限定就行了, 很简单, 一笔带过。
我们继续继续看如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test1.txt
good good study
day day up
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep [a-z]ay test1.txt
day day up
daydayup
Administrator@51B6904C3C8A485 ~/reg
$
可以看到, [a-z]ay把daydayup这一行也过滤出来了, 倘若我们只要过滤出含有day单词的行, 那该怎么办呢? 我们下面就会讲。
6. \ 表示转义, 比如\<xxx就是以xxx开头的单词, xxx\>表示以xxx结尾的单词, 如下(正则表达式最好都加上双引号吧):
Administrator@51B6904C3C8A485 ~/reg
$ cat test1.txt
good good study
day day up
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "\<[a-z]ay\>" test1.txt
day day up
Administrator@51B6904C3C8A485 ~/reg
$
对, 别忘了, 我们的-w选项也可以过滤单词行, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test1.txt
good good study
day day up
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep -w [a-z]ay test1.txt
day day up
Administrator@51B6904C3C8A485 ~/reg
$
但是, 下面的结果可能会出乎你我的意料:
Administrator@51B6904C3C8A485 ~/reg
$ cat test2.txt
good good study
day day up
oh day'abc oh
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "\<[a-z]ay\>" test2.txt
day day up
oh day'abc oh
Administrator@51B6904C3C8A485 ~/reg
$ grep -w [a-z]ay test2.txt
day day up
oh day'abc oh
Administrator@51B6904C3C8A485 ~/reg
$
为什么day'abc所在的行也被过滤出来了呢? 这就涉及到正则表达式对单词的定义了, '和空格符一样, 都是分割符号。
7. []中的^表示反义
我们知道, ^xxx表示以xxx开头的行, 但是, 在[]中的^, 就表示取反了, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "d[^abcd]" test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$ grep "d[^abcdy]" test.txt
good good study
Administrator@51B6904C3C8A485 ~/reg
$ grep "d[^abcdy ]" test.txt
Administrator@51B6904C3C8A485 ~/reg
$
8. 一些字符类
比如[[:lower:]] 等价于[a-z]
比如[[:upper:]] 等价于[A-Z]
其余的还有不少, 我们不一一列举。 来看一个上述[[:lower:]]的应用, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ grep "^[[:lower:]]" test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "^[[:upper:]]" test.txt
Administrator@51B6904C3C8A485 ~/reg
$
9. 不得不说的重复
前面我们已经说过, *表示对前面的字符重复0次或者多次, 我们再来复习一下:
Administrator@51B6904C3C8A485 ~/reg
$ cat test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "d.*u" test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$ grep "d.*p" test.txt
daydayup
Administrator@51B6904C3C8A485 ~/reg
$
如果要重复一次或者多次, 那就用+, 如下(注意, 如下要用扩展的正则表达式, 用grep -E或者直接用egrep):如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "gd" | egrep "go*d"
gd
Administrator@51B6904C3C8A485 ~/reg
$ echo "gd" | egrep "go+d"
Administrator@51B6904C3C8A485 ~/reg
$ echo "god" | egrep "go+d"
god
Administrator@51B6904C3C8A485 ~/reg
$ echo "good" | egrep "go+d"
good
Administrator@51B6904C3C8A485 ~/reg
$
那要表示仅仅重复0次或者1次, 该怎么搞呢? 用问号就行了, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "good" | grep "go+d"
Administrator@51B6904C3C8A485 ~/reg
$ echo "gd" | egrep "go?d"
gd
Administrator@51B6904C3C8A485 ~/reg
$ echo "god" | egrep "go?d"
god
Administrator@51B6904C3C8A485 ~/reg
$ echo "good" | egrep "go?d"
Administrator@51B6904C3C8A485 ~/reg
$
那要是指定重复4次, 该怎么搞呢? 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "goood" | egrep "go{4}d"
Administrator@51B6904C3C8A485 ~/reg
$ echo "gooood" | egrep "go{4}d"
gooood
Administrator@51B6904C3C8A485 ~/reg
$ echo "goooood" | egrep "go{4}d"
Administrator@51B6904C3C8A485 ~/reg
$
那要是重复4次或以上, 该怎么搞呢? 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "goood" | egrep "go{4,}d"
Administrator@51B6904C3C8A485 ~/reg
$ echo "gooood" | egrep "go{4,}d"
gooood
Administrator@51B6904C3C8A485 ~/reg
$ echo "goooood" | egrep "go{4,}d"
goooood
Administrator@51B6904C3C8A485 ~/reg
$
那要是重复4次到6次, 该怎么搞呢? 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "goood" | egrep "go{4,6}d"
Administrator@51B6904C3C8A485 ~/reg
$ echo "gooood" | egrep "go{4,6}d"
gooood
Administrator@51B6904C3C8A485 ~/reg
$ echo "goooood" | egrep "go{4,6}d"
goooood
Administrator@51B6904C3C8A485 ~/reg
$ echo "gooooood" | egrep "go{4,6}d"
gooooood
Administrator@51B6904C3C8A485 ~/reg
$ echo "goooooood" | egrep "go{4,6}d"
Administrator@51B6904C3C8A485 ~/reg
$
说道这里, 关于重复的问题是很明显了, 下面来小结一下:
x*表示0个或者多个x
x+表示1个或者多个x
x?表示0和或者1个x
x{4}比表示4个x
x{4,}表示4个或4个以上的x
x{4,6}表示有有4个或者5个或者6个x
既然已经学了这么多, 那想想如何匹配出一个5位的正整数呢? 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "123456" | egrep "[1-9][0-9]{4}"
123456
Administrator@51B6904C3C8A485 ~/reg
$ echo "1234" | egrep "\<[1-9][0-9]{4}\>"
Administrator@51B6904C3C8A485 ~/reg
$ echo "12345" | egrep "\<[1-9][0-9]{4}\>"
12345
Administrator@51B6904C3C8A485 ~/reg
$ echo "123456" | egrep "\<[1-9][0-9]{4}\>"
Administrator@51B6904C3C8A485 ~/reg
$
10. ()表示整体, 如下:
Administrator@51B6904C3C8A485 ~/reg
$ echo "abababc" | egrep "(ab){3,}"
abababc
Administrator@51B6904C3C8A485 ~/reg
$ echo "abababc" | egrep "(ab){4,}"
Administrator@51B6904C3C8A485 ~/reg
$
另外还要注意, 有时候会用()表示空(不是空格哈), 如:
Administrator@51B6904C3C8A485 ~/reg
$ echo "ab" | egrep "a b"
Administrator@51B6904C3C8A485 ~/reg
$ echo "ab" | egrep "a()b"
ab
Administrator@51B6904C3C8A485 ~/reg
$ echo "ab" | egrep "a b"
Administrator@51B6904C3C8A485 ~/reg
$ echo "a b" | egrep "a()b"
Administrator@51B6904C3C8A485 ~/reg
$ echo "a b" | egrep "a b"
a b
Administrator@51B6904C3C8A485 ~/reg
$
11. |表示或, 很好理解。
Administrator@51B6904C3C8A485 ~/reg
$ egrep "^g|p$" test.txt
good good study
daydayup
Administrator@51B6904C3C8A485 ~/reg
$
如上就表示以g开头或者以p结尾的行。
OK, 先说这么多, 后续有新东东, 再补充。