shell中的正则表达式、sed、awk

 

本文主要说一些正则的基本语法，并且结合linux的各种小工具（egrep、sed、awk）列举一些使用实例。

 

一、基本语法

正则的基本语法就大概是下面这些，但是正则远不止这些，甚至可以写一本书，当然了，我们这里只列举一些简单的

用法，这些已经可以解决大部分实际问题了。

1、字符类

字符	含义	举例
.	匹配任意一个字符	abc. 可 以匹配abcd 、abc9 等
[]	匹配括号中的任意一个字符	[abc]d 可以匹配ad 、bd 或cd
-	用在[]中，表示字符范围	[0-9a-fA-F] 可以匹配一位十六进制数字
^	如果位于[]的开头，则匹配除去括号中字符之外的一切字符	[^xy] 匹配除xy 之外的任一字符，因此[^xy]1 可以 匹配a1 、b1 但不匹配x1 、y1
[[:xxx:]]	grep 工 具预定义的一些命名字符类	[[:alpha:]] 匹配一个字母，[[:digit:]] 匹配一个数字

2、数量限定符

字符	含义	举例
?	紧跟在它前面的单元匹配零次或一次	[0-9]?/.[0-9] 匹配0.0 、2.3 、.5 等，由于. 在正则表达式中是一个特殊字符，所以需要用/ 转 义一下，取字面值
+	紧跟在它前面的单元匹配一次或多次	[a-zA-Z0-9.-_]+@[a-zA-Z0-9.-_]+/.[a-zA-Z0-9.-_]匹配email
*	紧跟在它前面的单元匹配零次或多次	[0-9][0-9]* 匹配至少一位数字，等价于[0-9]+ ，[a-zA-Z_]+[a-zA-Z_0-9]* 匹 配C语言的标识符
{N}	紧跟在它前 面的单元应精确匹配N次	[1-9][0-9]{2} 匹 配从100 到999 的整数
{N,}	紧跟在它前面的单元至少要匹配n次	[1-9][0-9]{2,} 匹配三位以上（含三位）的整数
{,M}	紧跟在它前面的单元至多匹配m次	[0-9]{,1}和[0-9]?意义一样，
{N,M}	紧跟在它前面的单元至少匹配n次，至多匹配m次	[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.用于匹配ip地址

3、位置限定符

字符	含义	举例
^	匹配行首的位置	^content匹配以content开头的行
$	匹配行末的位置	:$匹配以:结尾的行，^$匹配空行
/<	匹配单词开头的位 置	/<th 匹配... this ，但不匹配ethernet 、tenth
/>	匹 配单词结尾的位置	p/> 匹配leap ... ，但不匹配parent 、sleepy
/b	匹 配单词开头或结尾的位置	ap/b匹配leap，/ble匹配leap，/bat/b 匹配... at ... ，但不匹配cat 、atexit 、batch
/B	匹配非单词开头和结尾的位置	/Bat/B 匹配battery ，但不匹配... attend 、hat ...

 

4、其他特殊字符

字符	含义	举例
/	转义字符，普通字符转义为特殊字符，特殊字符转义为普通字符	普 通字符< 写成/< 表 示单词开头的位置，特殊字符. 写成/. 以 及/ 写成// 就当作普通字符来 匹配
()	将正则表达式的一部分括起 来组成一个单元，可以对整个单元使用数量限定符	([0-9]{1,3}/.){3}[0-9]{1,3} 匹 配IP地址
|	连接两个表达式，表示或的关系	n[o-either]可以匹配no或neither

 

 

二、小工具

1、grep/egrep

grep 是一种查找过滤工具，正则表达式在grep 中 用来查找符合模式的字符串。

egrep相当于grep -E，表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范

上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些，？+（）{}|都只是一些匹配字符了。

 

2、sed

sed意为流编辑器（Stream Editor），在Shell脚本和Makefile中作为过滤器使用非常普遍，也就是把前一个程序的输出引入sed的输入，经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具，所以很多sed命令和vi的末行命令是相同的。

 

在正常情况下，sed将待处理的行读入模式空间，脚本中的命令就一条接着一条的对该行进行处理，直到脚本执行完毕，然后该行被输出，模式空间清空；然后重复刚才的动作，文件中的新的一行被读入，直到文件处理完备。

 

看了很多写sed的就属鸟哥写的最好了，摘录一下：

[root@linux ~]# sed [-nefr] [动作]
参数∶
-n  ∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 
      的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过
      sed 特殊处理的那一行(或者动作)才会被列出来。
-e  ∶直接在指令列模式上进行 sed 的动作编辑；
-f  ∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的 
      sed 动作；
-r  ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i  ∶直接修改读取的档案内容，而不是由萤幕输出。

动作说明∶  [n1[,n2]]function
n1, n2 ∶不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些咚咚∶
a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c   ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d   ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i   ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p   ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s   ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
      正规表示法！例如 1,20s/old/new/g 就是啦！
范例∶

范例一∶将 /etc/passwd 的内容列出，并且我需要列印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd | sed '2,5d'
     1  root:x:0:0:root:/root:/bin/bash
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
# 看到了吧？因为 2-5 行给他删除了，所以显示的资料中，就没有 2-5 行棉～
# 另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
# 同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
# 而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
# 至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！ 

范例二∶承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd | sed '2a drink tea'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 嘿嘿！在 a 后面加上的字串就已将出现在第二行后面棉！那如果是要在第二行前呢？
# nl /etc/passwd | sed '2i drink tea' 就对啦！

范例三∶在第二行后面加入两行字，例如『Drink tea or .....』『drink beer?』
[root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ....../
> drink beer ?'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 这个范例的重点是，我们可以新增不只一行喔！可以新增好几行～
# 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔！所以，上面的例子中，
# 我们可以发现在第一行的最后面就有 / 存在啦！那是一定要的喔！

范例四∶我想将第2-5行的内容取代成为『No 2-5 number』呢？
[root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
     1  root:x:0:0:root:/root:/bin/bash
No 2-5 number
     6  sync:x:5:0:sync:/sbin:/bin/sync
# 没有了 2-5 行，嘿嘿嘿嘿！我们要的资料就出现啦！

范例五∶仅列出第 5-7 行
[root@linux ~]# nl /etc/passwd | sed -n '5,7p'
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 为什么要加 -n 的参数呢？您可以自行下达 sed '5,7p' 就知道了！(5-7行会重复输出)
# 有没有加上 -n 的参数时，输出的资料可是差很多的喔！

范例六∶我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
[root@linux ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:51:FD:52:9A:CA
          inet addr:192.168.1.12  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
.....(以下省略).....
# 其实，我们要的只是那个 inet addr:..那一行而已，所以棉，利用 grep 与 sed 来捉
[root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | /
> sed 's/Bcast.*$//g'
# 您可以将每个管线 (|) 的过程都分开来执行，就会晓得原因棉！
# 去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12 棉～

范例七∶将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明内容。
[root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | /
> sed '/^$/d'
# 每一行当中，若有 # 表示该行为注解，但是要注意的是，有时候，
# 注解并不是写在第一个字元，亦即是写在某个指令后方，如底下的模样∶
# 『shutdown -h now # 这个是关机的指令』，注解 # 就在指令的后方了。
# 因此，我们才会使用到将 #.*$ 这个正规表示法！

范例八∶利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
[root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
# 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔！而不是由萤幕输出。
# 至于那个 $a  则代表最后一行才新增的意思。








 



不过鸟哥的不是很全，特补充如下：

• n和p一起使用：$ sed -n 's/^test/mytest/p' 
  
  
  example
  
  
  (-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印
  
  
  
  它。
  
  
  

• 引用：$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。
• 引用：$ sed -n 's//(love/)able//1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。
• 分隔符：$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替 换成100。
• 用正则表示范围：$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
• 正则和数字混用表示范围：$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
• $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。
• 一次执行多条命令：$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。
• 并不常用的一种用法：$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。
• h命令和G命令： $ sed -e '/test/h' -e '$G‘ example-----在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保 持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中 的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。
• 特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾
• n： 将模式空间中的内容输出，然后把下一行读入模式空间
• sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。
  

补充几个除d、a、i、s、c、p之外不常用的命令：

• h：拷贝模板块的内容到内存中的缓冲区。
• H：追加模板块的内容到内存中的缓冲区
• g：获得内存缓冲区的内容，并替代当前模板块中的文本。
• G：获得内存缓冲区的内容，并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行，这是因为当前内存缓冲区为空，每次都把缓冲区的空内容添加到了每一行后面。
• sed '/^$/d;G'：用分号分隔多条命令，每一条命令都会作用在当前行上。

更多用法可以参考：

http://sed.sourceforge.net/sed1line_zh-CN.html

http://blog.chinaunix.net/u2/89923/showart_2206200.html

http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/sed.htm

 

3、awk

待续。。。。。。。