在使用sed和gawk时如果能够熟练的使用正则表达式,可以准确的过滤到自己需要的信息
Linux中,有两种流行的正则表达式引擎:
- POSIX基础正则表达式,BRE引擎
- POSIX扩展正则表达式,ERE引擎
一、BRE模式
1.1 纯文本
基本上没什么可写的,区分大小写,多个空格也可以匹配。
1.2 特殊字符
正则表达式识别的特殊字符包括这些,如果需要使用特殊字符,需要转义符(\)。
.*[]^${}\+?|()
1.3 锚字符
- 或字符(^)锁定在行首
- 美元符($)锁定在行尾
- 两个组合(^$)可以过滤空行
![](https://i-blog.csdnimg.cn/blog_migrate/8f900a89c6347c561fdf2122f13be562.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
sed -n '/^this/p' data3 echo "This ^ is a test" | sed -n '/s ^/p' echo "This is a good book" | sed -n '/book$/p' echo "This book is good" | sed -n '/book$/p' sed -n '/^this is a test$/p' data4 sed '/^$/d' data5
1.4 点号字符
匹配除换行符之外的任意单个字符。
sed -n '/.at/p' data6
1.5 字符组
使用方括号来定义字符组
sed -n '/[ch]at/p' data6 echo "Yes" | sed -n '/[Yy]es/p'
1.6 排除型字符组
也可以反转字符组的作用,在字符组的开头加个脱字符
sed -n '/[^ch]at/p' data6
1.7 区间
用破折号可以表示字符中间的内容,第一个字符,破折号,最后一个字符
sed -n '/^[0-9][0-9][0-9][0-9][0-9]$/p' data8
1.8 特殊的字符组
- [[:alpha:]] 匹配任意字母字符,不管是大写还是小写
- [[:alnum:]] 匹配任意字母数字字符0~9、A~Z或a~z
- [[:blank::]] 匹配空格或制表符
- [[:digit:]] 匹配0~9之间的数字
- [[:lower:]] 匹配小写字母字符a~z
- [[:print:]] 匹配仍以可打印字符
- [[:punct:]] 匹配标点符号
- [[:space:]] 匹配任意空白字符:空格、制表符、NL、FF、VT和CR
- [[:upper:]] 匹配任意大写字母字符A~Z
这些表达式可以像普通字符组一样使用。
echo "abc" | sed -n '/[[:digit:]]/p' echo "abc" | sed -n '/[[:alpha:]]/p' echo "abc123" | sed -n '/[[:digit:]]/p'
1.9 星号
星号表明该字符必须在匹配模式的文本中出现0次或多次
echo "ik" | sed -n '/ie*k/p' echo "iek" | sed -n '/ie*k/p' echo "ieek" | sed -n '/ie*k/p' echo "ieeek" | sed -n '/ie*k/p'
二、ERE模式
2.1 问号
问号表明前面的字符可以出现0次或1次。
echo "bt" | gawk '/be?t/{print $0}' bt echo "bet" | gawk '/be?t/{print $0}' bet echo "beet" | gawk '/be?t/{print $0}' echo "beeet" | gawk '/be?t/{print $0}'
2.2 加号
加号表明前面的字符可以出现1次或多次,但必须至少出现1次。
echo "beeet" | gawk '/be+t/{print $0}' echo "beet" | gawk '/be+t/{print $0}' echo "bet" | gawk '/be+t/{print $0}'
2.3 花括号
花括号允许你可重复的正则表达式指定一个上限。这通常成为间隔,可以用两种格式来指定区间。
m:正则表达式准确出现m次。
m,n:正则表达式至少出现m次,至多n次。
echo "bt" | gawk --re-interval '/b[ae]{1,2}t/{print $0}' echo "bat" | gawk --re-interval '/b[ae]{1,2}t/{print $0}' echo "bet" | gawk --re-interval '/b[ae]{1,2}t/{print $0}'
2.4 管道符号
就是linux里的|符号,一样的管道。应该是逻辑或的感觉
echo "The cat is asleep" | gawk '/cat|dog/{print $0}' The cat is asleep echo "The dog is asleep" | gawk '/cat|dog/{print $0}' The dog is asleep echo "The sheep is asleep" | gawk '/cat|dog/{print $0}'
2.5 表达式分组
使用园括号进行分组,当你将正则表达式模式分组时,该组会被视为一个标准字符。
echo "Sat" | gawk '/Sat(urday)?/{print $0}' Sat echo "Saturday" | gawk '/Sat(urday)?/{print $0}' echo "cat" | gawk '/(c|b)a(b|t)/{print $0}' cat echo "cab" | gawk '/(c|b)a(b|t)/{print $0}' cab echo "bat" | gawk '/(c|b)a(b|t)/{print $0}' bat echo "bab" | gawk '/(c|b)a(b|t)/{print $0}' bab echo "tab" | gawk '/(c|b)a(b|t)/{print $0}' echo "tac" | gawk '/(c|b)a(b|t)/{print $0}'