linux下练习正则表达式

1.什么是正则表达式

在做文字处理或编写程序时，用到查找、替换等功能，使用正则表达式能够简单快捷的完成目标。简单而言，正则表达式通过一些特殊符号的帮助，使用户可以轻松快捷的完成查找、删除、替换等处理程序。例如grep, expr, sed , awk. 或 Vi 中经常会使用到正则表达式，为了充分发挥 shell 编程的威力,需要精通正则表达式。正规表示法基本上是一种『表示法』， 只要工具程序支持这种表示法，那么该工具程序就可以用来作为正规表示法的字符串处理之用。 也就是说，例如 vi, grep, awk ,sed 等等工具，因为她们有支持正规表示法， 所以，这些工具就可以使用正规表示法的特殊字符来进行字符串的处理。

首先是正则表达式的特殊符号：

[:alnum:]代表英文大小写字母及数字 
[:alpha:]代表英文大小写字母
[:blank:]代表空格和 tab 键
[:cntrl:]键盘上的控制按键，如 CR,LF,TAB,DEL
[:digit:]代表数字
[:graph:]代表空白字符以外的其他
[:lower:]小写字母
[:print:]可以被打印出来的任何字符
[:punct:]代表标点符号
[:upper:]代表大写字符
[:space:]任何会产生空白的字符如空格，tab,CR 等
[:xdigit:]代表 16 进位的数字类型

实例：找出文件中的所有大写字母

$ grep -n '[[:lower:]]' regular_express.txt

2.语系对正则表达式的影响

• ANG=C 时： 0 1 2 3 4....ABCDE...Zabcde...z
• LANG=zh_CN 时：0 1 2 3 4...aAbBcCdD.....zZ

在使用正则表达式[A-Z]时， LANG=C 的情况下，找到的仅仅是大写字符 ABCD..Z。而在 LANG=zh_CN 情况下，会选取到 AbBcCdD.....zZ 字符。因此在使用正则表达式时要特别留意语系。

由于我们一般使用的兼容与 POSIX 的标准，因此使用 C 语系。

3.grep命令与正则表达式

1.搜寻特定字符串“the”:

参数说明：
-a ：将 binary 档案以 text 档案的方式搜寻数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！

$ grep -n 'the' regular_express.txt
$ grep -in 'the' regular_express.txt

2.字符串匹配

[]中包含的任意一个字符。只能是一个。

字符“ - ”来表示一个范围
[^...] 排除型字符组。排除后面的字符

[abc]           ：表示“a”或“b”或“c”
[0-9]           ：表示 0~9 中任意一个数字，等价于[0123456789]
[\u4e00-\u9fa5] :表示任意一个汉字
[^a1<]          :表示除“a”、“1”、“<”外的其它任意一个字符
[^a-z]          :表示除小写字母外的任意一个字符

查找“tast”或者“test”两个字符串。
# grep -n 't[ae]st' regular_express.txt 

查找不包含“#”的字符串
# grep -n '[^#]' regular_express.txt

$ grep -n 'oog' regular_express.txt
$ grep -n '[^g]oog' regular_express.txt 
$ grep -n '[^go]oog'regular_express.txt

行首符号:^

$ grep -n '^the' regular_express.txt

查找行首为大写字母的所有行：

# grep -n '^[A-Z]' regular_express.txt

行尾符号：$

查找以 d 字母结尾的行：

# grep -n 'd$' regular_express.txt

查找空行：

$ grep -n '^$' regular_express.txt

查看/etc/insserv.conf 文档
'^$' : 过滤掉空白行
'^#' ：过滤掉注释行（以#号开头）

$ cat -n /etc/insserv.conf
$ grep -v '^$' /etc/insserv.conf | grep -v '^#'

3.任意一个字符：.  重复字符：*

查找 a？ou？类型的字符。

$ grep -n 'a.ou.' regular_express.txt

*（星号）：代表重复前面 0 个或者多个字符。
e*： 表示具有空字符或者一个以上 e 字符。
ee*，表示前面的第一个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
eee*，表示前面两个 e 字符必须存在。第三个 e 则可以是 0 个或者多个 e 字符。
ee*e ：表示前面的第一个与第三个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。

4.限定连续字符的范围{}
{ }可限制一个范围区间内的重复字符数。举个例子，若要找出 2~5 个 o 的连续字符串，如何做？ 此时便要用到{}了。由于 { 与 } 在 shell 中有特殊意义，需要用到转义字符\。

查找连续的两个 o 字符：

$ grep -n 'o\{2\}' regular_express.txt

总结：
^word    表示带搜寻的字符串(word)在行首
word$    表示带搜寻的字符串(word)在行尾
.(小数点) 表示 1 个任意字符
\        表示转义字符，在特殊字符前加\会将特殊字符意义去除
*        表示重复 0 到无穷多个前一个 RE(正则表达式)字符
[list]   表示搜索含有 l,i,s,t 任意字符的字符串
[n1-n2]  表示搜索指定的字符串范围,例如[0-9] [a-z] [A-Z]等
[^list]  表示反向字符串的范围,例如[^0-9]表示非数字字符，[^A-Z]表示非大写字符范围
\{n,m\}  表示找出 n 到 m 个前一个 RE 字符
\{n,\}   表示 n 个以上的前一个 RE 字符

4.正则表达式运用之sed工具命令

通过正则表达式和 sed 工具简单快捷的完成文件查询、修改等功能。

sed工具介绍：

sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。

sed 编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先 sed 把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed 每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed 便结束运行。sed 把每一行都存在临时缓冲区中，对这个副本进行编辑，所以不会修改原文件。

如果要修改原文件，可使用-i 选项。

1.将 regular_express.txt 的内容列出并打印行号，同时,将 2-5 行删除显示：

$ nl regular_express.txt | sed '2,5d'

注: sed 是 sed -e 的简写, 后接单引号

2.删除第三行到最后一行, $定位到最后一行

删除第三行到最后一行, $定位到最后一行

3.原文件中删除第 1 行

$ sed -i '1d' regular_express.txt

4.在第二行后添加 test 字符串

$ nl regular_express.txt | sed '2a test'

5.在第二行前添加 test 字符串

$ nl regular_express.txt | sed '2i test'

6.在第二行后加入两行 test，“\n”表示换行符

$ nl regular_express.txt | sed '2a    test\ntest'

7.替换

$ nl regular_express.txt | sed '2,5c No2-5number'

8.列出需要的几行

$ nl regular_express.txt |sed -n '5,7p'

9.替换字符串
sed 's/被替换字符串/新字符串/g'

5.扩展正则表达式

事实上，一般实验者只需要熟悉基础的正则表达式就足够了。不过有时候为了简化命令操作，了解一些使用范围更广的扩展表达式，会更加方便。

简单对比：

$ grep -v '^$' regular_express.txt |grep -v '^#'
$ egrep -v '^$|^#' regular_express.txt

+ ：表示重复一个或一个以上的前一个 RE 字符

$ egrep -n 'go+d' regular_express.txt
$ grep -n 'goo*d' regular_express.txt
god    good

() :表示找出群组字符串

$ egrep -n 'g(la|oo)d' regular_express.txt
也就是搜寻(glad)或 good 这两个字符串