shell中的正则表达式、sed、awk

最新推荐文章于 2024-08-25 17:03:08 发布

cnpdn

最新推荐文章于 2024-08-25 17:03:08 发布

阅读量1w

点赞数 1

分类专栏： shell 文章标签：正则表达式 shell linux 工具 makefile 脚本

本文链接：https://blog.csdn.net/cnpdn/article/details/5445437

版权

shell 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文主要说一些正则的基本语法，并且结合linux的各种小工具（egrep、sed、awk）列举一些使用实例。

一、基本语法

正则的基本语法就大概是下面这些，但是正则远不止这些，甚至可以写一本书，当然了，我们这里只列举一些简单的

用法，这些已经可以解决大部分实际问题了。

1、字符类

字符	含义	举例
`.`	匹配任意一个字符	`abc.` 可以匹配`abcd` 、`abc9` 等
`[]`	匹配括号中的任意一个字符	`[abc]d` 可以匹配`ad` 、`bd` 或`cd`
`-`	用在[]中，表示字符范围	`[0-9a-fA-F]` 可以匹配一位十六进制数字
`^`	如果位于[]的开头，则匹配除去括号中字符之外的一切字符	`[^xy]` 匹配除`xy` 之外的任一字符，因此`[^xy]1` 可以匹配`a1` 、`b1` 但不匹配`x1` 、`y1`
`[[:xxx:]]`	`grep` 工具预定义的一些命名字符类	`[[:alpha:]]` 匹配一个字母，`[[:digit:]]` 匹配一个数字

2、数量限定符

字符	含义	举例
`?`	紧跟在它前面的单元匹配零次或一次	`[0-9]?/.[0-9]` 匹配`0.0` 、`2.3` 、`.5` 等，由于`.` 在正则表达式中是一个特殊字符，所以需要用`/` 转义一下，取字面值
`+`	紧跟在它前面的单元匹配一次或多次	`[a-zA-Z0-9.-_]+@[a-zA-Z0-9.-_]+/.[a-zA-Z0-9.-_]匹配email`
`*`	紧跟在它前面的单元匹配零次或多次	`[0-9][0-9]` 匹配至少一位数字，等价于`[0-9]+` ，`[a-zA-Z_]+[a-zA-Z_0-9]` 匹配C语言的标识符
`{N}`	紧跟在它前面的单元应精确匹配`N次`	`[1-9][0-9]{2}` 匹配从`100` 到`999` 的整数
`{N,}`	紧跟在它前面的单元至少要匹配n次	`[1-9][0-9]{2,}` 匹配三位以上（含三位）的整数
`{,M}`	紧跟在它前面的单元至多匹配m次	`[0-9]{,1}和[0-9]?意义一样，`
`{N,M}`	紧跟在它前面的单元至少匹配n次，至多匹配m次	`[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.用于匹配ip地址`

3、位置限定符

字符	含义	举例
`^`	匹配行首的位置	`^content匹配以content开头的行`
`$`	匹配行末的位置	`:$匹配以:结尾的行，^$匹配空行`
`/<`	匹配单词开头的位置	`/<th` 匹配`... this` ，但不匹配`ethernet` 、`tenth`
`/>`	匹配单词结尾的位置	`p/>` 匹配`leap ...` ，但不匹配`parent` 、`sleepy`
`/b`	匹配单词开头或结尾的位置	`ap/b匹配leap，/ble匹配leap，/bat/b` 匹配`... at ...` ，但不匹配`cat` 、`atexit` 、`batch`
`/B`	匹配非单词开头和结尾的位置	`/Bat/B` 匹配`battery` ，但不匹配`... attend` 、`hat ...`

4、其他特殊字符

字符	含义	举例
`/`	转义字符，普通字符转义为特殊字符，特殊字符转义为普通字符	普通字符`<` 写成`/<` 表示单词开头的位置，特殊字符`.` 写成`/.` 以及`/` 写成`//` 就当作普通字符来匹配
`()`	将正则表达式的一部分括起来组成一个单元，可以对整个单元使用数量限定符	`([0-9]{1,3}/.){3}[0-9]{1,3}` 匹配IP地址
`\|`	连接两个表达式，表示或的关系	`n[o-either]可以匹配no或neither`

二、小工具

1、grep/egrep

grep 是一种查找过滤工具，正则表达式在grep 中用来查找符合模式的字符串。

egrep相当于grep -E，表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范

上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些，？+（）{}|都只是一些匹配字符了。

2、sed

sed意为流编辑器（Stream Editor），在Shell脚本和Makefile中作为过滤器使用非常普遍，也就是把前一个程序的输出引入sed的输入，经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具，所以很多sed命令和vi的末行命令是相同的。

在正常情况下，sed将待处理的行读入模式空间，脚本中的命令就一条接着一条的对该行进行处理，直到脚本执行完毕，然后该行被输出，模式空间清空；然后重复刚才的动作，文件中的新的一行被读入，直到文件处理完备。

看了很多写sed的就属鸟哥写的最好了，摘录一下：

[root@linux ~]# sed [-nefr] [动作]
参数∶
-n  ∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 
      的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过
      sed 特殊处理的那一行(或者动作)才会被列出来。
-e  ∶直接在指令列模式上进行 sed 的动作编辑；
-f  ∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的 
      sed 动作；
-r  ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i  ∶直接修改读取的档案内容，而不是由萤幕输出。

动作说明∶  [n1[,n2]]function
n1, n2 ∶不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些咚咚∶
a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c   ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d   ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i   ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p   ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s   ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
      正规表示法！例如 1,20s/old/new/g 就是啦！
范例∶

范例一∶将 /etc/passwd 的内容列出，并且我需要列印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd | sed '2,5d'
     1  root:x:0:0:root:/root:/bin/bash
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
# 看到了吧？因为 2-5 行给他删除了，所以显示的资料中，就没有 2-5 行棉～
# 另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
# 同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
# 而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
# 至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！ 

范例二∶承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd | sed '2a drink tea'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 嘿嘿！在 a 后面加上的字串就已将出现在第二行后面棉！那如果是要在第二行前呢？
# nl /etc/passwd | sed '2i drink tea' 就对啦！

范例三∶在第二行后面加入两行字，例如『Drink tea or .....』『drink beer?』
[root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ....../
> drink beer ?'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 这个范例的重点是，我们可以新增不只一行喔！可以新增好几行～
# 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔！所以，上面的例子中，
# 我们可以发现在第一行的最后面就有 / 存在啦！那是一定要的喔！

范例四∶我想将第2-5行的内容取代成为『No 2-5 number』呢？
[root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
     1  root:x:0:0:root:/root:/bin/bash
No 2-5 number
     6  sync:x:5:0:sync:/sbin:/bin/sync
# 没有了 2-5 行，嘿嘿嘿嘿！我们要的资料就出现啦！

范例五∶仅列出第 5-7 行
[root@linux ~]# nl /etc/passwd | sed -n '5,7p'
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 为什么要加 -n 的参数呢？您可以自行下达 sed '5,7p' 就知道了！(5-7行会重复输出)
# 有没有加上 -n 的参数时，输出的资料可是差很多的喔！

范例六∶我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
[root@linux ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:51:FD:52:9A:CA
          inet addr:192.168.1.12  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
.....(以下省略).....
# 其实，我们要的只是那个 inet addr:..那一行而已，所以棉，利用 grep 与 sed 来捉
[root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | /
> sed 's/Bcast.*$//g'
# 您可以将每个管线 (|) 的过程都分开来执行，就会晓得原因棉！
# 去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12 棉～

范例七∶将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明内容。
[root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | /
> sed '/^$/d'
# 每一行当中，若有 # 表示该行为注解，但是要注意的是，有时候，
# 注解并不是写在第一个字元，亦即是写在某个指令后方，如底下的模样∶
# 『shutdown -h now # 这个是关机的指令』，注解 # 就在指令的后方了。
# 因此，我们才会使用到将 #.*$ 这个正规表示法！

范例八∶利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
[root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
# 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔！而不是由萤幕输出。
# 至于那个 $a  则代表最后一行才新增的意思。








 



不过鸟哥的不是很全，特补充如下：

n和p一起使用：$ sed -n 's/^test/mytest/p' 


example


(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印



它。

引用：$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。
引用：$ sed -n 's//(love/)able//1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。
分隔符：$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。
用正则表示范围：$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
正则和数字混用表示范围：$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。
一次执行多条命令：$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。
并不常用的一种用法：$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。
h命令和G命令： $ sed -e '/test/h' -e '$G‘ example-----在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。
特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾
n：将模式空间中的内容输出，然后把下一行读入模式空间
sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。

补充几个除d、a、i、s、c、p之外不常用的命令：

h：拷贝模板块的内容到内存中的缓冲区。
H：追加模板块的内容到内存中的缓冲区
g：获得内存缓冲区的内容，并替代当前模板块中的文本。
G：获得内存缓冲区的内容，并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行，这是因为当前内存缓冲区为空，每次都把缓冲区的空内容添加到了每一行后面。
sed '/^$/d;G'：用分号分隔多条命令，每一条命令都会作用在当前行上。

更多用法可以参考：

http://sed.sourceforge.net/sed1line_zh-CN.html

http://blog.chinaunix.net/u2/89923/showart_2206200.html

http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/sed.htm

3、awk

待续。。。。。。。