Shell必备十八式之第四式——正则表达式和文本处理器

一、正则表达式

1.概念

①正则表达式又称为正规表达式、常规表达式

②使用字符串来描述、匹配一系列符合某个规则的字符串

2.正则表达式的组成

①普通字符：大小写字母、数字、标点符号及一些其他符号

②元字符：在正则表达式中具有特殊意义的专用字符

3.正则表达式层次

①基础正则表达式

②拓展正则表达式

4.Linux中文本处理工具

①grep②egrep③sed④awk

5.常见元字符

【\】：转义字符，\!、\n等

【^】：匹配字符串开始位置，^a、^the、^#等

【$】:匹配字符串结束位置，word$

【.】:匹配除\n之外的任意一个字符，go.d、g..d

【*】：匹配前面子表达式次或者多次，goo*d、go*d

【list】:匹配list列表中的一个字符，go[ola]d、[abc]、[a-z]、【A-Z0-9】

【^list】:匹配任意不在list列表中的一个字符，[^a-z][^0-9][^A-Z0-9]

【\{n,m}】:匹配前面的子表达式n到m次，有\{n\}、\{n,\}、\{n,m\}三种格式，go\{2\}d、go\{2,3\}d、go\{2,\}d

6.拓展正则表达元字符

【+】：匹配前面子表达式1次以上，go+d,将至少匹配一个o

[?]:匹配前面子表达式0次或1次，go?d，将匹配gd或god

[()]:将括号中的字符串作为一个整体，例：（xyz)+，将匹配xyz整体1次以上，如xyzz

【|】以或的方式匹配字条串，例good|food,将匹配good或者food，g(oo|la)d，将匹配good活着的glad

二、SED 流编辑器

2.1. sed概述

①文本处理工具，读取文本内容，根据指定的条件进行处理，如删除、替换、提添加等

②再无交互的情况下实现相当复杂的文本处理操作

③被广泛的应用于shell脚本，以完成自动化处理任务

④sed依赖于正则表达式

⑤工作原理

2.2 SED格式

sed + 选项 + `指令` + 文件

-e:指定

-n:只输出

-i:

-f:

替换

删除

特殊用法

2.3 sed应用

vim sed.sh

cat /etc/passwd | head -10 > p.txt
sed -f sed.sh p.txt
sed -i -f sed.sh p.txt //修改源文件

三、awk编辑器

3.1 概念

 AwK是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 之所以叫 AMK是因为其取了三位创始人Alfred Aho，Peter Meinberger，和 Brian Kernighan 的 Family Name的首字符。

3.2 工作原理

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出 如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

3.3 格式

awk关键字+选项+命令部分`{xxxx}`+文件名

内置变量：

• $0：整行
• $1：第一行
• $n：整行
• NF：列
• NR：行
• FS：：指定分隔符
• OFS：自定义输出分隔符
• RS：换行符
• ORS：自定义输出换行符

默认第一行以空格和TAB为分割

指定分隔符为“：”使用 -F命令

打印每行有多少列

打印最后一列

友好显示

制表符 \t

匹配含有daemon的行然后输出最后一列