Linux学习之正则表达式

一、什么是正则表达式？

            正则表达式(Regular Expresion)，简单的说，正则表达式就是处理字符串的方法，在Linux中，它是以行为单位来进行字符串处理行为，正则表达式通过一些特殊的符号的辅助，可以让用户轻易达到查找、删除、替换某特殊字符串的处理方法。刚刚提到了在Linux中正则表达式是用来处理字符串的方法的，那么这个结果肯定和语系有关咯。我们都知道文件记录其实都是保存的0/1，之所以我们能看到各式各样的汉字和英文等是通过编码表等转化过来的，常见的如UTF-8,ASCII等，当然编码格式不在我们这里讨论的重点，有兴趣深究的小伙伴可以查找相关资料学习。因此不同的语系对正则表达式的结果可能会造成一些不同，这里我们就假设小伙伴们都设置好了"LANG=C"。

二、Linux中的正则表达式的分类

            在Linux中，正则表达式分为基础正则表达式(Basic Regular Expresion）和扩展正则表达式(Extend Regular Expresion)。

正则表达式中有一些特殊字符，常见的如下表

这里面尤其是【:alnum:】,[:alpha:]，[:digit:]，[:lower:]，[:upper:]这些个用的比较多，需要记住他们代表的含义，同时使用这些特殊符号还能屏蔽语系不同带来的问题。

三、通过一些例子来介绍正则表达式的用法

这里有个简短的小文件，我们通过查找这个文件的字符串来介绍如何使用正则表达式。先查看下文章中的内容吧。

cat expresion.txt

1、查找特定的字符串

如果我想查看刚刚文档中包含'the'的行，那么我该怎么做呢？

grep -n 'the' expresion.txt

         

我们使用grep这个命令来选取expresion.txt这个文件中包含'the'这个字符串的行，-n表示显示行号，相信小伙伴们都会使用，结果中会高亮显示选取的字符串，是不是非常有趣？好那么我们继续我们的练习。如果我不想选取包含'the'字符串的行呢？

grep -vn 'the' expresion.txt

这两次的结果正好互补，只需要在上一个结果上使用grep的-v参数进行反向选取就可以，是不是觉得好像在介绍grep的用法了？好吧我们回到正则表达式的主题上，不过学习正则表达式时grep是一个不错的练习工具，正好你也可以学习学习grep的使用，因为它太好用了而且使用非常频繁，你一定会喜欢上他的，小伙伴们感觉学会起来吧。

2、利用中括号[]来查找集合符号

如果我们想查找'test'或者'taste'这两个字符串该怎么做呢，有小伙伴可能已经发现了他们的通式't?st'，这个时候我们使用正则表达式的[]来解决问题。

grep -n 't[ae]st' expresion.txt

如果我不希望每行的开头是小写英文字母呢？

grep -n '[^a-z]' expresion.txt 
#注意，^在中括号内部

[]中无论有多少个字符，都只代表取其中的一个，里面的字符代表着这个字符的取值范围而已，所以就不难解释[az]的意思了吧，[az]代表az其中的任意一个字符，【AZ】代表AZ中的任意一个字符，【0-9】代表0-9中的任意一个数字。有小伙伴可能已经发现了我们之前不也介绍了如何使用[:digit:]，[:lower:]，[:upper:]等表示数字，大小写字母等吗？是的，这两者都能达到同样的效果，但是呢使用[:digit:]，[:lower:]，[:upper:]能够避免语系不同带来的差异。

3、行首和行尾字符

如果我想选取一'the'字符串开头的行？

grep -n '^the' expresion
#小伙伴们需要和上面例子中不以小写字母开头区别开，^符号一个在[]内部，
#一个在^外部，这里的^在[]外表示以....开头，小伙伴们需要注意区分。

'$'的作用就是以什么结尾，如果我们想找到某一行以'!'结尾就可以这样做了：

grep -n '!$' expresion.txt
#$表示以xxx结尾，$前面接结尾的字符

'^'表示一行记录以xxx开头，'$'表示一行记录以xxx结尾，那么下面语句什么又是处理什么的呢？

grep -nv '^$' expresion.txt

不错，这就是表示剔除掉空白行的含义，'^$'表示某一行是空白行，我们就可以通过这个方式来选中某文件中的空白行，然后再通过grep -v反向选中非空白行。怎么样？是不是感觉瞬间高大上起来？

4、任意一个字符 . 与重复字符 *

. (小数点):代表“一定有一个任意字符”的意思；*:代表“重复前一个字符, 0 到无穷多次”的意思；

比如说我想在expresion.txt中找出'g??d'的字符串，那就可以：

grep -n 'g..d' expresion.txt

对于*表示有0到无穷个前面的字符，例如o.*表示有0-无穷个o,同理,当我们需要“至少两个 o 以上的字串”时,就需要 ooo* ,亦即是:

grep -n 'ooo*' expresion.txt

5、限定连续 RE 字符范围 {}

在上面的例子中想查找2个及以上的o可以使用'ooo*'，也可使用字符范围{}，但因为 { 与 } 的符号在 shell 是有特殊意义的,因此, 我们必须要使用跳脱字符 \ 来让他失去特殊意义才行

grep -n '0\{2，\}' expresion.txt

上面通过一些例子来介绍如何使用正则表达式，那么下面我们就来介绍一下基础正则表达式的字符

RE 字符	意义与范例
^word	意义:待搜寻的字串(word)在行首!范例:搜寻行首为 # 开始的那一行,并列出行号 > grep -n '^#' express.txt
.	意义:代表“一定有一个任意字符”的字符!范例:搜寻的字串可以是 (eve)(eae) (eee) (e e), 但不能仅有 (ee) !亦即 e 与 e 中间“一定”仅有一个字符,而空白字符也是字符! > grep -n 'e.e' express.txt
\	意义:跳脱字符,将特殊符号的特殊意义去除!范例:搜寻含有单引号 ' 的那一行! > grep -n \' express.txt
*	意义:重复零个到无穷多个的前一个 RE 字符 范例:找出含有 (es) (ess) (esss) 等等的字串,注意,因为 可以是 0 个,所以 es 也是符合带搜寻字串。另外,因为 为重复“前一个 RE 字符”的符号, 因此,在 之前必须要紧接着一个 RE 字符喔!例如任意字符则为 “.” !> grep -n 'ess*' express.txt
[list]	意义:字符集合的 RE 字符,里面列出想要撷取的字符!范例:搜寻含有 (gl) 或 (gd) 的那一行,需要特别留意的是,在 [] 当中“谨代表一个待搜寻的字符”, 例如“ a[afl]y ”代表搜寻的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f或 l 的意思! > grep -n 'g[ld]' express.txt
[^list]	意义:字符集合的 RE 字符,里面列出不要的字串或范围!范例:搜寻的字串可以是 (oog) (ood) 但不能是 (oot) ,那个 ^ 在 [] 内时,代表的意义是“反向选择”的意思。 例如,我不要大写字符,则为 [^A-Z]。但是,需要特别注意的是,如果以 grep -n [^A-Z] regular_express.txt 来搜寻,却发现该文件内的所有行都被列出,为什么?因为这个 [^A-Z] 是“非大写字符”的意思, 因为每一行均有非大写字符,例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 > grep -n 'oo[^t]' express.txt
[n1-n2]	意义:字符集合的 RE 字符,里面列出想要撷取的字符范围!范例:搜寻含有任意数字的那一行!需特别留意,在字符集合 [] 中的减号 - 是有特殊意义的,他代表两个字符之间的所有连续字符!但这个连续与否与 ASCII 编码有关,因此,你的编码需要设置正确(在 bash 当中,需要确定 LANG 与 LANGUAGE的变量是否正确!) 例如所有大写字符则为 [A-Z]> grep -n '[A-Z]' express.txt
{n,m}	意义:连续 n 到 m 个的“前一个 RE 字符” 意义:若为 {n} 则是连续 n 个的前一个 RE 字符, 意义:若是 {n,} 则是连续 n 个以上的前一个 RE 字符! 范例:在g 与 g 之间有 2 个到 3 个的 o 存在的字串,亦即 (goog)(gooog)> grep -n 'go\{2,3\}g' express.txt

这些就是基础正则表达式常用的一些字符，会使用这些基本正则表达式对我们平时的工作会有很多帮助，学习这些基本表达式其实就能解决我们平时的绝大部分问题。