shell学习--正则表达式

正则表达式入门

正则表达式使用单个字符串来描述，匹配一系列符合某个语法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中，grep、sed、awk等文本处理工具都支持通过正则表达式进行模式匹配。

1、常规匹配

一串不包含特殊字符的正则表达式匹配自己，例如：

[root@localhost shell]# cat /etc/passwd | grep root

就会在/etc/passwd/中匹配所有包含root的行

2、常用特殊字符

1）特殊字符：^

^ 匹配一行的开头。例如：

[root@localhost shell]# cat /etc/passwd | grep ^a

匹配出所有以a开头的行

2）特殊字符：$

$ 匹配一行的结束。例如：

[root@localhost shell]# cat /etc/passwd | grep t$

匹配出所有以t结尾的行

^$ 匹配空格或空行

[root@localhost shell]# cat /etc/passwd | grep -n ^$     #-n显示行号

3）特殊字符：.

. 匹配一个除回车以外的任意字符。例如：

[root@localhost shell]# cat /etc/passwd | grep r..t

匹配以r开头，t结尾，中间包含两个字符的所有行

4）特殊字符：*

*不单独使用，他和前一个字符连用，表示匹配前一个字符0次或多次。例如

[root@localhost shell]# cat /etc/passwd | grep ro.t

匹配rt、rot、root、rooot、rooooot等所有行

.*匹配中间为任意的字符
例如：匹配以a开头，in结尾，中间任意字符的行

[root@localhost shell]# cat /etc/passwd | grep ^a.*in$
adm:x:3:4:adm:/var/adm:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin

5）特殊字符：\

\ 表示转义，并不会单独使用。由于所有特殊字符都有其特定匹配模式，当我们想匹配某一特殊字符本身时（例如，我想找出所有包含‘$’的行），就会碰到困难。此时我们就要将转义字符和特殊字符连用，来表示特殊字符本身，例如：

[root@localhost shell]# cat /etc/passwd | grep ‘a\$b’

就会匹配所有包含a$b的行。注意需要使用单引号将表达式引起来。

6）字符区间（中括号）：[ ]

[ ] 表示匹配某个范围内的一个字符，例：
[6,8]----匹配6或者8
[0-9]----匹配一个0到9的数字
[0-9]* ----匹配任意长度的数字字符串
[a-z]----匹配一个a到z之间的字符
[a-z]* ----匹配任意长度的字母字符串
[a-c,e-f]----匹配a-c或者e-f之间的任意字符

正则表达式扩展

定位符	说明
^	锚定开头^a以a开头 默认锚定一个字符
$	锚定结尾a$ 以a结尾 默认锚定一个字符

匹配符	说明
.	匹配除回车以为的任意字符
( )	字符串分组
[ ^ ]	表示否定括号中出现字符类中的字符，取反
\	转义字符
管道符	或

限定符	说明
*	某个字符之后加*表示该字符不出现或者出现多次
？	与星号相似，但表示该字符出现一次或者不出现
+	表示其前面字符出现一次或者多次，但是必须出现一次
{n,m}	某个字符之后出现，表示该字符最少n次，最多m次
{m}	正好出现了m次

POSIX特殊字符	说明
[:alnum:]	匹配任意字母字符0-9 a-z A-Z
[:alpha:]	匹配任意字母，大写或者小写
[:digit:]	数字0-9
[:graph:]	非空字符（非空格控制字符）
[:lower: ]	小写字符a-z
[:upper: ]	大写字符A-Z
[:cntrl:]	控制字符
[:print:]	非空字符（包括空格）
[:punct:]	标点符号
[:blank:]	空格和TAB字符
[:xdigit:]	16进制数字
[:space:]	所有空白字符（新行、空格、制表符)

文本处理工具

1、cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一句行剪切字节、字符和字段输出。

1）基本语法

cut [ 选项参数 ] filename
说明：默认分隔符是制表符

2）选项参数说明

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分割列，默认是制表符“\t”
-c	按字符进行切割，后加 n 表示取第几列，比如：-c 1

3）案例实操

（1）截取/etc/passwd/文件中过滤为bash的以“：”为分隔符的第1、6、7列

[root@localhost shell]# cat /etc/passwd | grep bash   #grep可以相当于提取行
root:x:0:0:root:/root:/bin/bash
oracle:x:1000:1000:oracle:/home/oracle:/bin/bash
es:x:1001:1002::/home/es:/bin/bash
[root@localhost shell]# cat /etc/passwd | grep bash | cut -d ":" -f 1,6,7 
root:/root:/bin/bash
oracle:/home/oracle:/bin/bash
es:/home/es:/bin/bash

（2）选取系统PATH变量值，截取第2个以“：”开始后的所有路径

[root@localhost shell]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/home/jdk1.8.0_291/bin:/root/bin
[root@localhost shell]# echo $PATH | cut -d ":" -f 2-
/usr/local/bin:/usr/sbin:/usr/bin:/home/jdk1.8.0_291/bin:/root/bin

2、awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分割符将每行切片，切开的部分再进行分析处理。

1）基本语法

awk [选项参数] ‘/pattern1/{action1} /patternl2/{action2}…’ filename
pattern：表示awk在数据中查找到的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

2）选项参数说明

选项参数	功能
-F	指定输入文件分隔符
-v	赋值一个用户定义变量

3）案例实操

（1）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

[root@localhost shell]# cat /etc/passwd | grep ^root | cut -d ":" -f 7 
/bin/bash
[root@localhost shell]# cat /etc/passwd | awk -F ":" '/^root/{print $7}'
/bin/bash

（2）搜索passwd文件以root关键字开头的所有行，并输出该行的第1,7列。

[root@localhost shell]# cat /etc/passwd | awk -F ":" '/^root/{print $1","$7}'
root,/bin/bash

（3）只显示/etc/passwd/的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell。在最后一行添加“end of file”。

[root@localhost shell]# cat /etc/passwd | awk -F ":" 'BEGIN{print "user,shell"} {print $1","$7} END{print "end of file"}'
user,shell
root,/bin/bash
bin,/sbin/nologin
……
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
operator,/sbin/nologin
……
tcpdump,/sbin/nologin
oracle,/bin/bash
mysql,/bin/false
es,/bin/bash
end of file

（4）将passwd文件中的用户ID增加1并输出

[root@localhost shell]# cat /etc/passwd | awk -v i=1 -F ":" '{print $3+i}'
1
2
3
4
……

4）awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数（行号）
NF	浏览记录的域的个数（切割后，列的个数）

5）案例实操

（1）统计passwd文件的文件名，每行的行号，每行的列数

[root@localhost shell]# awk -F ":" '{print "文件名："FILENAME "行号："NR "列数："NF}' /etc/passwd
文件名：/etc/passwd行号：1列数：7
文件名：/etc/passwd行号：2列数：7
文件名：/etc/passwd行号：3列数：7
文件名：/etc/passwd行号：4列数：7
……

（2）查询ifconfig命令输出结果中的空格所在的行号

[root@localhost shell]# ifconfig | awk '/^$/{print NR}'
9
18
26

（3）切割IP

[root@localhost shell]# ifconfig ens33 | awk '/netmask/{print $2}'
192.168.105.85

学习视频链接