shell脚本之正则表达式与文本处理器

目录

一、正则表达式

1.1正则表达式的含义

1.2 grep

(1)格式

(2)常用选项

(3)案列

1.3.基础正则表达式以及常见元字符 

(1)特殊字符

(2)案例

1.4.扩展正则表达式

案例:

1.5.元字符操作的案列

(1)查找特定字符

(2)利用中括号“[ ]”来查找集合字符

(3)查找行首“^”与行尾字符“$”

(4)查找任意一个字符“ . ”与重复字符“ * ”

(5)查找连续字符范围“{}”

二、文本处理器 

 2.1.cut(列截取工具)

 2.2.sort(排序工具)

 2.3.uniq(去除连续的重复行)

 2.4.tr(替换工具)

 三、总结


一、正则表达式

1.1正则表达式的含义

  • 正则表达式,又称规则表达式。(英语:Regular Expression),在代码中常简写为 regex、regexp 或 RE),计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式不只有一种,而且 LINUX 中不同的程序可能会使用不同的正则表达式,如:工具:grep sed awk egrep 
  • 正则表达式---通常用于判断语句中,用来检查某一字符串是否满足某一格式。
  • 正则表达式是由普通字符与元字符组成。
  • 普通字符包括大小写字母、数字、标点符号及一些其他符号。
  • 元字符是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式。

LINUX中常用的有两种正则表达式引擎:

  • 基础正则表达式:BRE
  • 扩展正则表达式:ERE

1.2 grep

(1)格式

grep [选项]… 查找条件 目标文件

(2)常用选项

-E :开启扩展(Extend)的正则表达式
 
-c :计算找到 '搜寻字符串' 的次数
 
-i :忽略大小写的不同,所以大小写视为相同
 
-o :只显示被模式匹配到的字符串
 
-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行!(反向查找,输出与查找条件不相符的行)
 
--color=auto :可以将找到的关键词部分加上颜色的显示喔!
 
-n :顺便输出行号

(3)案列

①统计root字符总行数;再用cat /etc/passwd | grep root 进行查看是否正确。

 ②不区分大小写查找the所有的行。

 ③将/etc/passwd,将没有出现 root 的行取出来。

 ④将dome10.sh文件中的非空行写入到test.txt文件中。

 ⑤过滤本机ip地址。

1.3.基础正则表达式以及常见元字符 

(支持的工具:grep、egrep、sed、awk)

(1)特殊字符

\:转义符,将特殊字符进行转义,忽略其特殊意义a\.b匹配a.b,但不能匹配ajb,.被转义为特殊意义\\\\
 
^:匹配行首,^则是匹配字符串的开始^tux匹配以tux开头的行^^^^
 
$:匹配行尾,$则是匹配字符串的结尾tux$匹配以tux结尾的行$$$$ 
 
.:匹配除换行符\r\n之外的任意单个字符
 
[list]:匹配list列表中的一个字符 例: go[ola]d,[abc]、[a-z]、[a-z0-9]
 
[^list]:匹配任意不在list列表中的一个字符 例: [^a-z]、[^0-9]、[^A-Z0-9]
 
*:匹配前面子表达式0次或者多次 例:goo*d、go.*d
 
\{n\} :匹配前面的子表达式n次,例:go\{2\}d、'[O-9]\{2\}'匹配两位数字
 
\{n,\}:匹配前面的子表达式不少于n次,例: go\{2,\}d、' [0-9]\{2,\}'匹配两位及两位以上数宁
 
\{n,m\}﹔匹配前面的子表达式n到m次,例: go\{2,3\)d、'[0-9]\{2,3\}'匹配两位到三位数字
 
注: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”
定位符
^ 匹配输入字符串开始的位置
$ 匹配输入字符串结尾的位置
 
非打印字符
\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符

(2)案例

显示文件test的内容:

 -E 用于显示文件中符合条件的字符:

 1.4.扩展正则表达式

(支持的工具:egrep、awk)

通常情况下会使用基础正则表达式就已经足够了,但有时为了简化整个指令,需要使用范围更广的扩展正则表达式。例如,使用基础正则表达式查询除文件中空白行与行首为“#”之外的行(通常用于查看生效的配置文件),执行“grep -v‘^$’test.txt | grep -v‘^#’”即可实现。这里需要使用管道命令来搜索两次。如果使用扩展正则表达式, 可以简化为“egrep -v ‘^$|^#’ test.txt”,其中,单引号内的管道符号表示或者(or)。
此外,grep 命令仅支持基础正则表达式,如果使用扩展正则表达式,需要使用 egrep 或 awk 命令。awk 命令在后面的小节进行讲解,这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式,使用该命令可以搜索文件中的任意字符串和符号,也可以搜索一个或多个文件的字符串,一个提示符可以是单个字符、一个字符串、一个字或一个句子。

与基础正则表达式类型相同,扩展正则表达式也包含多个元字符,常见的扩展正则表达式的元字符主要包括以下几个:
 

+	作用:重复一个或者一个以上的前一个字符
示例:执行“egrep -n 'wo+d' test.txt”命令,即可查询"wood" "woood" "woooooood"等字符串
 
?	作用:零个或者一个的前一个字符
示例:执行“egrep -n 'bes?t' test.txt”命令,即可查询“bet”“best”这两个字符串
 
|	作用:使用或者(or)的方式找出多个字符
示例:执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串
 
()	作用:查找“组”字符串
示例:“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的,所以将“a”与“e”
列于“()”符号当中,并以“|”分隔,即可查询"tast"或者"test"字符串
 
()+	作用:辨别多个重复的组
示例:“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C",中间有一个以上的"xyz"字符串的意思

案例:

①查看test文件中的内容

  ②查询"wood" "woood" "woooooood"等字符串。

 ③查询“bet”“best”这两个字符串。

 ④查询"of"或者"if"或者"on"字符串。​​​​​​​

  ⑤查询"tast"或者"test"字符串

⑥查询开头的"A"结尾是"C",中间有一个以上的"xyz"字符串。

 1.5.元字符操作的案列

(1)查找特定字符

查找特定字符非常简单,如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后,符合匹配标准的字符, 字体颜色会变为红色(本章中全部通过加粗显示代替)。

案例:

①查找有the的行。 ②若反向选择,如查找不包含“the”字符的行,则需要通过 grep 命令的“-v”选项实现,并配合“-n”一起使用显示行号。

 (2)利用中括号“[ ]”来查找集合字符

①想要查找“shirt”与“short”这两个字符串时,可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串,其中“[]”中无论有几个字符, 都仅代表一个字符,也就是说“[io]”表示匹配“i”或者“o”。

 ②若要查找包含重复单个字符“oo”时,只需要执行以下命令即可。

 ③若查找“oo”前面不是“w”的字符串,只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。

  在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则,二者均包含“w”。其实通过执行结果就可以看出,符合匹配标准的字符加粗显示,而上述结果中可以得知, “#woood #”中加粗显示的是“ooo”,而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。

④若不希望“oo”前面存在小写字母,可以使用“grep -n‘[^a-z]oo’test.txt”命令实现,其中“a-z”表示小写字母,大写字母则通过“A-Z”表示。

  ⑤查找包含数字的行可以通过“grep -n ‘[0-9]’test.txt”命令来实现。

 (3)查找行首“^”与行尾字符“$”

基础正则表达式包含两个定位元字符:“^”(行首)与“$”(行尾)。

①如果想要查询以“the”字符串为行首的行,则可以通过“^”元字符来实现。

②查询以小写字母开头的行可以通过“^[a-z]”规则来过滤,查询大写字母开头的行则使用“^[A-Z]”规则,若查询不以字母开头的行则使用“^[^a-zA-Z]”规则。

  ③“^”符号在元字符集合“[ ]”符号内外的作用是不一样的,在“[ ]”符号内表示反向选择,在“[ ]” 符号外则代表定位行首。反之,若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如,执行以下命令即可实现查询以小数点(.)结尾的行。因为小数点(.)在正则表达式中也是一个元字符,所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

④当查询空白行时,执行“grep -n‘^$’test.txt”命令即可。

(4)查找任意一个字符“ . ”与重复字符“ * ”

前面提到,在正则表达式中小数点(.)也是一个元字符,代表任意一个字符。例如

①执行以下命令就可以查找“w??d”的字符串,即共有四个字符,以 w 开头 d 结尾。

 在上述结果中,“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料, 则需要使用星号(*)元字符。但需要注意的是,“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个(即为空字符)或大于等于一个“o”的字符,因为允许空字符,所以执行“grep-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”,则第一个 o 必须存在, 第二个 o 则是零个或多个 o,所以凡是包含 o、oo、ooo、ooo,等的资料都符合标准。

②若查询包含至少两个 o 以上的字符串,则执行“grep -n 'ooo*' test.txt”命令即可。

  ③查询以 w 开头 d 结尾,中间包含至少一个 o 的字符串,执行以下命令即可实现。

 ④查询以 w 开头 d 结尾,中间的字符可有可无的字符串。

 ⑤执行以下命令即可查询任意数字所在行。

 (5)查找连续字符范围“{}”

使用了“.”与“*”来设定零个到无限多个重复的字符,如果想要限制一个范围内的重复的字符串该如何实现呢?例如,查找三到五个 o 的连续字符,这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义,所以在使用“{}”字符时,需要利用转义字符“\”,将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。

① 查询两个 o 的字符。

 ② 查询以 w 开头以 d 结尾,中间包含 2~5 个 o 的字符串。

  ③ 查询以 w 开头以 d 结尾,中间包含 2 个或 2 个以上 o 的字符串。

二、文本处理器 

2.1.cut(列截取工具)

使用说明:

  • cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
  • 如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
  • 注意:cut只擅长于处理单个字符为间隔的文本。

(1)常用选项

-b:按字节截取
-c:按字符截取,常用于中文
-d:指定以什么为分隔符截取,默认为制表符
-f:通常和-d一起

(2)案例

①截取passwd文件的第一例。

②截取passwd文件的第一例和第三例。

  ③截取passwd文件的第一例到第三例。

 ④截取who查询结果的第三个字节。

  ⑤截取name文件中的第二个文字。

  2.2.sort(排序工具)

是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。

(1)格式

sort [选项] 参数

(2)常用选项

-t:指定分隔符,默认使用[Tab]键或空格分隔
 
-k:指定排序区域,哪个区间排序
 
-n:按照数字进行排序,默认是以文字形式排序
 
-u:等同于uniq,表示相同的数据仅显示一行,注意:如果行尾有空格去重就不成功
 
-r:反向排序,默认是升序,-r就是降序
 
-o:将排序后的结果转存至指定文件

 (3)案例

sort passwd.txt    //不加任何选项默认按第一列升序,字母的话就是从a到z由上而下显示
 
sort -n -t: -k3 /etc/passwd    //以冒号为分隔符,以数字大小对第三列排序(升序)
 
sort -nr -t: -k3 /etc/passwd   //以冒号为分隔符,以数字大小对第三列排序(降序)
 
sort -nr -t: -k3 /etc/passwd -o passwd.bak    //将输结果不在屏幕上输出而是输出到passwd.bak文件

①sort passwd.txt    //不加任何选项默认按第一列升序,字母的话就是从a到z由上而下显示

②按照数字进行排序 

 ③按照数字进行倒叙排序

 ④等同于uniq,表示相同的数据仅显示一行,注意:如果行尾有空格去重就不成功

⑤ sort -n -t: -k3 /etc/passwd    //以冒号为分隔符,以数字大小对第三列排序(升序)

⑥ sort -nr -t: -k3 /etc/passwd   //以冒号为分隔符,以数字大小对第三列排序(降序)

⑦ sort -nr -t: -k3 /etc/passwd -o passwd.bak    //将输结果不在屏幕上输出而是输出到passwd.bak文件

 2.3.uniq(去除连续的重复行)

注意:是连续的行,所以通常和sort结合使用先排序使之变成连续的行再执行去重操作,否则不连续的重复行他不能去重。

(1)语法结构

uniq [选项] 参数

 (2)常用选项

-c:对重复的行进行计数;
-d:仅显示重复行;
-u:仅显示出现一次的行;

 (3)案例

创建一个水果类型的文件,一共9行内容。

  ①统计重复行的次数,不连续的重复行他不算做重复行。

  ②结合sort使用就是我们想要的效果。

 ③结合sort使用,过滤出重复行。 

④结合sort使用,显示只出现一次的句子

  ⑤结合sort使用,去重,也可以直接用sort -u。

  2.4.tr(替换工具)

可以用一个字符来替换另一个字符,或者可以完全除去一些字符,也可以用它来除去重复字符。

(1)语法结构

用法:tr [选项]… SET1 [SET2]
 
 
从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。

(2)常用选项

-d 删除字符
-s 删除所有重复出现的字符,只保留第一个

(3)案列

创建一个fruit文件,查看。

①将fruit文件中的小写a-z字母替换成大写的A-Z。

 ②替换是一一对应的字母的替换。

 ③删除所有a。 

 ④删除换行符。

 ⑤对p字符去重,只保留第一个。

⑥遇到多个回车只保留一个回车,相当于去除空行。

 三、总结

1.正则表达式:基础正则表达式,扩展正则表达式

2.grep命令·和常见元字符

3.文本处理器:cut(列截取工具)、sort(排序工具)、uniq(去除连续的重复行)、tr(替换工具)。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值