【Linux系列文章】正则表达式与文本处理工具

Linux系列文章

第十章 正则表达式与文本处理工具

---

---

1、正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文 本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。在 Linux 中，grep， sed，awk 等文本处理工具都支持通过正则表达式进行模式匹配。

1.1 常规匹配

一串不包含特殊字符的正则表达式匹配它自己，例如：

cat /etc/passwd | grep root 

就会匹配所有包含 root 的行。

1.2 常用特殊字符

1）特殊字符：^
^ 匹配一行的开头，例如：

cat /etc/passwd | grep ^a

会匹配出所有以 a 开头的行

[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep ^a
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin

2）特殊字符：$
$ 匹配一行的结束，例如

[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep n$
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin

会匹配出所有以 n结尾的行

思考：^$ 匹配什么？

3）特殊字符：.
. 匹配一个任意的字符，例如

会匹配包含 rabt,rbbt,rxdt,root 等的所有行

4）特殊字符：*
* 不单独使用，他和上一个字符连用，表示匹配上一个字符 0 次或多次，例如

会匹配 rt, rot, root, rooot, roooot 等所有行

思考：.* 匹配什么？

5）字符区间（中括号）：[ ]
[ ] 表示匹配某个范围内的一个字符，例如
[6,8]------匹配 6 或者 8
[0-9]------匹配一个 0-9 的数字
[0-9] * ------匹配任意长度的数字字符串
[a-z]------匹配一个 a-z 之间的字符
[a-z] * ------匹配任意长度的字母字符串
[a-c, e-f]-匹配 a-c 或者 e-f 之间的任意字符
会匹配 rt,rat, rbt, rabt, rbact,rabccbaaacbt 等等所有行

6）特殊字符：\
\ 表示转义，并不会单独使用。由于所有特殊字符都有其特定匹配模式，当我们想匹配 某一特殊字符本身时（例如，我想找出所有包含 ‘$’ 的行），就会碰到困难。此时我们就要 将转义字符和特殊字符连用，来表示特殊字符本身，例如

[root@iZ2zei44cqux4qbfqwaz0yZ etc]# cat passwd |grep 'a\$b'
就会匹配所有包含 a$b 的行。注意需要使用单引号将表达式引起来。

2、文本处理工具

2.1 cut

cut 的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每 一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1）基本用法 cut [选项参数] filename
说明：默认分隔符是制表符

（1）数据准备

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# touch cut.txt

（2）切割 cut.txt 第一列

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cut -d " " -f 1 cut.txt 
han
zhang
xiu
dao
zhen

（3）切割 cut.txt 第二、三列

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cut -d " " -f 2,3 cut.txt 
li 
tie
xian
you
bao

（4）在 cut.txt 文件中切割出 li

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# cat cut.txt | grep li | cut -d " " -f 2
li

（5）选取系统 PATH 变量值，第 2 个“：”开始后的所有路径：

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_131/bin:/usr/java/jdk1.8.0_131/jre/bin:/root/bin

[root@iZ2zei44cqux4qbfqwaz0yZ apps]# echo $PATH | cut -d ":" -f 3-
/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_131/bin:/usr/java/jdk1.8.0_131/jre/bin:/root/bin

（6）切割 ifconfig 后打印的 IP 地址

(下回Linux秘籍三剑客即将登场)