shell编程正则表达式与文本处理器

目录

1、正则表达式

（1）正则表达式定义

（2）基础正则表达式常见字符（egrep、awk、grep、sed）

（3）扩展正则表达式元字符

 （4）基础正则表达式元字符

2、文本处理器

（1）cut

（2）sort

（3）uniq

（4） tr

---

1、正则表达式

（1）正则表达式定义

 概念：正则表达式，又称规则表达式(英语:Regular Expression)，在代码中常简写为regex、 regexp或RE），是计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式不只有一种，而且 LINUX中不同的程序可能会使用不同的正则表达式，如:工具: grep sed awk egrep

正则表达式-通常用于判断语句中，用来检查某一字符串是否满足某一格式

正则表达式是由普通字符与元字符组成。

普通字符包括天小写字母、数字、标点符号及一些其他符号

元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符)在目标对象中的出现模式。

LINUX 中常用的有两种正则表达式引擎砖础:正则表达式:BRE    扩展正则表达式:ERE 

LINUX 中文本处理工具：grep、egrep、sed、awk

正则表达式:描述某些字符串匹配规则的工具

使用原因:程序设计过程中不可避免的遇到处理某些文本情况，有时候要查找符合某些比投复

杂规则的字符串。正则表达式以非常简单的代码完成。

常见的支持正则表达式的UNIX工具:

grep命令:用于匹配文本行

sed流编辑器:用于改变输入流

awk:用于处理字符串的语言

more或者less等:文件查看程序

ed,vi或者vim等:文本编辑器

实践正则表达式:

#/bin/bash

str='catversion.txtlgrep revecho"$str"

(cat命令用来显示文本内容，竖线是管道，表示将cat命苦的输出结果作为后面的那个命令的

输入，grep命令用来查找文本，rev指要匹配的字符串。上面执行结果表示version.txt文件

中的某一行含义rev这个字符串，实际上，grep命令后面的参数可以换成任意的正则表达式)

（2）基础正则表达式常见字符（egrep、awk、grep、sed）

字符	说明
^	匹配字符串开始的位置 例子：^a、^the、^#
$	匹配字符串结束的位置  例：例: wordKaTeX parse error: Expected group after '^' at position 3: 、$^匹配空行
\	转义字符，用于取消特殊符号的含义，例：！、\n等
.	匹配出之外的任意的一个字符
*	匹配前面表达式0次或者多次，例：goo*d、go.*d
[list]	匹配list列表中的一个字符，例： go[ola]d，[abc]、[a-z]、[a-z0-9]
[^list]	匹配任意不再list列表中的一个字符 例： [^a-z]、[^0-9]、[^A-Z0-9]
\{n\}	匹配前面的子表达式n次，例:qo\{2\}d、'[O-9] \{2\ }'匹配两位数字
\{n,\}	匹配前面的子表达式不少于n次，例: go\{2,\}d、'[0-9]\{2，\}'匹配两位及两位以上数字
\{n,m\}	匹配前面的子表达式n到m次，例: go\{2,3\)d、' [0-9]\{2,3\} '匹配两位到三位数字

注：: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”
         egrep -E -n 'wo{2}d' test.txt   //-E 用于显示文件中符合条件的字符
        egrep -E -n 'wo{2,3}d' test.txt

（3）扩展正则表达式元字符

+	作用：重复一个或者一个以上的前一个字符 示例：执行“egrep -n 'wo+d' test.txt”命令，即可查询"wood" "woood" "woooooood"等字符串
？	用：零个或者一个的前一个字符 示例：执行“egrep -n 'bes?t' test.txt”命令，即可查询“bet”“best”这两个字符串
|	作用：使用或者（or）的方式找出多个字符 示例：执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串
( )	作用：查找“组”字符串 示例：“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的，所以将“a”与“e”   列于“()”符号当中，并以“|”分隔，即可查询"tast"或者"test"字符串
( )+	作用：辨别多个重复的组 示例：“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思

（1）查找特定字符

查找特定字符非常简单，如执行以下命令即可从test.txt文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变为红色。

grep -n 'the' test.txt

若反向选择，如查找不包含“the”字符的行，则需要通过 grep 命令的“-v”选项实现，并配合“-n”一起使用显示行号。

grep -vn 'the' test.txt

（2）利用中括号“[]”来查找集合字符

想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

grep -n 'sh[io]rt' test.txt

若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。

grep -n 'oo' test.txt

若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。

在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则，二者均包含“w”。其实通过执行结果就可以看出，符合匹配标准的字符加粗显示，而上述结果中可以得知， “#woood #”中加粗显示的是“ooo”，而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。
若不希望“oo”前面存在小写字母，可以使用“grep -n‘[^a-z]oo’test.txt”命令实现，其中

“a-z”表示小写字母，大写字母则通过“A-Z”表示。

root@localhost ~]# grep -n '[^a-z]oo' test.txt
查找包含数字的行可以通过“grep -n ‘[0-9]’test.txt”命令来实现。

（3）查找行首“^”与行尾字符“$”
基础正则表达式包含两个定位元字符：“^”（行首）与“$”（行尾）。在上面的示例中， 查询“the”字符串时出现了很多包含“the”的行，如果想要查询以“the”字符串为行首的行，则可以通过“^”元字符来实现。

查询以小写字母开头的行可以通过“^[a-z]”规则来过滤，查询大写字母开头的行则使用
“^[A-Z]”规则，若查询不以字母开头的行则使用“^[^a-z A-Z]”规则。

 

“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]” 符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点（.）结尾的行。因为小数点（.）在正则表达式中也是一个元字符（后面会讲到），所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

[t.

 当查询空白行时，执行“grep -n‘^$’test.txt”命令即可。

 （4）查找任意一个字符“.”与重复字符“*”
前面提到，在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。

 在上述结果中，“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料， 则需要使用星号（*）元字符。但需要注意的是，“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n 'ooo*' test.txt”命令即可。

t!

查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现。

执行以下命令即可查询以 w 开头 d 结尾，中间的字符可有可无的字符串。

执行以下命令即可查询任意数字所在行。

（5）查找连续字符范围“{}”
在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符，如果想要限制一个范围内的重复的字符串该如何实现呢？例如，查找三到五个 o 的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。
① 查询两个 o 的字符。

② 查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。

 ③ 查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串。

 （4）基础正则表达式元字符

^	匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^” 字符本身，请使用“\^”
$	匹配输入字符串的结尾位置。如果设置了RegExp 对象的 Multiline 属性，则“$”也匹配‘\n’或‘\r’。要匹配“$”字符本身，请使用“\$”
.	匹配除“\r\n”之外的任何单个字符
\	反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义
*	匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“\*”
[]	字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”
[^]	赋值字符集合。匹配未包含的一个任意字符。例如，“[^abc]”可以匹配“plin”中任何一个字母
[n1-n2]	字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。
{n}	n 是一个非负整数，匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的“oo”
{n,}	n 是一个非负整数，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”
{n,m}	m 和 n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配m 次

[n1-n2]    字符范围  注意：（只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身）

2、文本处理器

（1）cut

cut：列截取工具
使用说明:

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一

-b	按字节截取
-c	按字符截取，常用于中文
-d	指定以什么为分隔符截取，默认为制表符
-f	显示指定字段的内容  通常和-d一起

示例：

[root@localhost ~]# cat /etc/passwd | cut -d':' -f 1    
root 
bin
daemon          
#查看passwd  -d是以冒号为分割  -f是行的第一个

[root@localhost ~]# cat /etc/passwd | cut -d':' -f1,3  此处-f1,3 是代表每行第一个和第三个
root:0
bin:1
daemon:2

[root@localhost ~]# cat /etc/passwd | cut -d':' -f1-3 此处-f1-3 是代表每行第一个到第三个
root:x:0
bin:x:1
daemon:x:2

[root@localhost ~]# who | cut -b 3 截取每行第三个（字节截取）
o
o
o

注意：cut只擅长于处理单个字符为间隔的文本

（2）sort

是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样
语法：
sort [选项] 参数

-t	指定分隔符，默认使用[Tab]吧 键或空格分隔
-k	指定排序区域，哪个区间排序
-u	等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-n	按照数字进行排序，默认是以文字形式排序
-r	反向排序，默认是升序，-r就是降序
-o	将排序后的结果转存至指定文件

sort passwd.txt    //不加任何选项默认按第一列升序，字母的话就是从a到z由上而下显示

sort -n -t: -k3 passwd.txt    //以冒号为分隔符，以数字大小对第三列排序（升序）

sort -nr -t: -k3 passwd.txt   //以冒号为分隔符，以数字大小对第三列排序（降序）

sort -nr -t: -k3 passwd.txt -o passwd.bak    //将输结果不在屏幕上输出而是输出到passwd.bak文件

sort -u passwd.txt    //去掉文件中重复的行（重复的行可以是不连续的）
zhangsan
zhangsan
zhangsan

（3）uniq

主要用于去除连续的重复行
注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

（1）语法
uniq [选项] 参数

-c	对重复的行进行数计
-d	仅显示重复行
-u	仅显示出现一次的行

[root@localhost ~]# cat fruit  //创建一个水果类型的文件，一共9行内容
apple
apple
peache
pear
banana
cherry
cherry
banana
orange

[root@localhost ~]# cat fruit | uniq -c    //统计重复行的次数，不连续的重复行他不算做重复行
      2 apple
      1 peache
      1 pear
      1 banana
      2 cherry
      1 banana
      1 orange

[root@localhost ~]# cat fruit | sort | uniq -c   //结合sort使用就是我们想要的效果
      2 apple
      2 banana
      2 cherry
      1 orange
      1 peache
      1 pear


[root@localhost ~]# cat fruit | sort | uniq -d   //结合sort使用，过滤出重复行
apple
banana
cherry


[root@localhost ~]# cat fruit | sort | uniq -u    //结合sort使用，过滤出不重复的行
orange
peache
pear

[root@localhost ~]# cat fruit | sort | uniq      //结合sort使用，去重
apple
banana
cherry
orange
peache
pear


[root@localhost ~]# cat fruit | sort -u     //也可以直接用sort -u
apple
banana
cherry
orange
peache
pear

实例：查看登陆过系统的用户
[root@localhost ~]# last | awk '{print $1}' | sort | uniq | grep -v "^$" | grep -v wtmp
reboot
root
shengjie

（4） tr

它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
语法
用法：tr [选项]… SET1 [SET2]
从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。

-d	删除字符
-s	删除所有重复出现的字符，只保留第一个

[root@localhost ~]# cat fruit | tr 'a-z' 'A-Z'
APPLE
APPLE
PEACHE
PEAR
BANANA
CHERRY
CHERRY
BANANA
ORANGE

[root@localhost ~]# cat fruit | tr 'apple' 'APPLE'    //替换是一一对应的字母的替换
APPLE
APPLE
PEAchE
PEAr
bAnAnA
chErry
chErry
bAnAnA
orAngE

[root@localhost ~]# cat fruit | tr "'" '/'     //如果想替换单引号则需要用双引号把单引号引起来，反斜杠转义也不行
apple
apple
peache
pear
banana
cherry
cherry
banana
/orange/