【笔记】正则表达式

正则表达式

本文主要是通过grep, sed等命令在linux环境下使用正则表达式。

特殊符号

[:alnum:]代表英文大小写字母及数字
[:alpha:]代表英文大小写字母
[:blank:]代表空格和 tab 键
[:cntrl:]键盘上的控制按键，如 CR,LF,TAB,DEL
[:digit:]代表数字
[:graph:]代表空白字符以外的其他
[:lower:]小写字母
[:print:]可以被打印出来的任何字符
[:punct:]代表标点符号
[:upper:]代表大写字母
[:space:]任何会产生空白的字符如空格，tab,CR 等
[:xdigit:]代表 16 进位的数字类型

用法例如：grep -n '[[:digit:]]' regular_express.txt

grep参数

-a ：以 text 档案的方式搜寻 binary 档案数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示没有 '搜寻字符串' 内容的行

字符组匹配

grep -n 't[ae]st' regular_express.txt

反向选择 [^]

[^]和-v的区别，如果包含有反向选择的字符的行含有其他字符的话，[^] 仍会输出该行，而 -v 则只会输出不含有反向选择的字符的行。

[abc]           ：表示 “a” 或 “b” 或 “c”
[0-9]           ：表示 0~9 中任意一个数字，等价于 [0123456789]
[\u4e00-\u9fa5] :表示任意一个汉字
[^a1<]          :表示除 “a”、“1”、“<” 外的其它任意一个字符
[^a-z]          :表示除小写字母外的任意一个字符

行首符^和行尾符$

行首是大写字母的，注意和[^A-Z]的区别，后者是除了大写字母外的字符
grep -n '^[A-Z]' regular_express.txt

行尾是d的
grep -n 'd$' regular_express.txt

查找空行
grep -n '^$' regular_express.txt

任意一个字符.和重复字符*

查找a?ou?，一个.只能表示一个字符
grep -n 'a.ou.' regular_express.txt

*(星号)：代表重复前面 0 个或者多个字符。
e*： 表示具有空字符或者一个以上 e 字符。
ee*，表示前面的第一个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
eee*，表示前面两个 e 字符必须存在。第三个 e 则可以是 0 个或者多个 e 字符。
ee*e ：表示前面的第一个与第三个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。

限定连续字符范围{}

查找 g 后面接 2 到 5 个 o，然后再接 g 的字符串
grep -n 'go\{2,5\}g' regular_express.txt

总结：

^word    表示带搜寻的字符串(word)在行首
word$    表示带搜寻的字符串(word)在行尾
.(小数点) 表示 1 个任意字符
\        表示转义字符，在特殊字符前加 \ 会将特殊字符意义去除
*        表示重复 0 到无穷多个前一个 RE(正则表达式)字符
[list]   表示搜索含有 l,i,s,t 任意字符的字符串
[n1-n2]  表示搜索指定的字符串范围,例如 [0-9] [a-z] [A-Z] 等
[^list]  表示反向字符串的范围,例如 [^0-9] 表示非数字字符，[^A-Z] 表示非大写字符范围
\{n,m\}  表示找出 n 到 m 个前一个 RE 字符
\{n,\}   表示 n 个以上的前一个 RE 字符

sed

sed不会修改文件，结果打印到标准输出。除非使用重定向。
sed逐行处理文件，将正在处理的一行放到临时缓存区(模式空间)，在缓存区编辑，所以不会修改源文件内容。
如果要修改，需要添加-i选项。

nl regular_express.txt | sed '2,5d'
nl 内容加上行号，'2,5d' 是将2-5行删除。

nl regular_express.txt | sed '2a test'
nl regular_express.txt | sed '2i test'
a是在行后添加，i是行前。

nl regular_express.txt | sed '2,5c No 2-5 number'
将 2-5 行的内容替换为 No 2-5 number，c 为替换内容选项.

nl regular_express.txt |sed -n '5,7p'
输出 regular_express.txt 的第 5-7 行，其中 -n 为安静模式选项，不加的话，还会把其他内容输出。

字符串替换：sed 's/lodstr/newstr/g'，g 全部替代，无g 只替代每行第一个。

扩展正则表达式

比如：

删去空白和注释行，grep -v '^$' regular_express.txt |grep -v '^#'
使用扩展正则式简化，egrep -v '^$|^#' regular_express.txt
也可以使用 grep -E 来使用扩展正则表达式

*表示任意个重复的前一个字符
grep -n 'goo*d' regular_express.txt
在egrep中更进一步分为：
重复一个或一个以上的前一个字符
egrep -n 'go+d' regular_express.txt
重复零个或一个的前一个字符
egrep -n 'go?d' regular_express.txt

找出组字符串(用或)
egrep -n 'g(la|oo)d' regular_express.txt
多个群组判断
echo 'AxyzxyzxyzxyzC'|egrep 'A(xyz)+C'