Shell编程之正则表达式与文本处理器

1. 正则表达式

基础正则表达式

扩展正则表达式

1. 文件处理器

sed

awk

cut

sort

uniq

tr

1. 总结

1. 正则表达式

正则表达式---通常用于判断语句中，用来检查某一字符串是否满足某一格式

正则表达式是由普通字符与元字符组成

普通字符

包括大小写字母、数字、标点符号及一些其他符号

元字符

是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式

LINUX 中常用的有两种正则表达式引擎

基础正则表达式：BRE

扩展正则表达式: ERE

 

基础正则表达式

基础正则表达式常见元字符：(支持的工具：grep、egrep、sed、awk)

特殊字符

\：转义符，将特殊字符进行转义，忽略其特殊意义a\.b匹配a.b，但不能匹配ajb，.被转义为特殊意义\\\\

^：匹配行首，^则是匹配字符串的开始^tux匹配以tux开头的行^^^^

$：匹配行尾，$则是匹配字符串的结尾tux$匹配以tux结尾的行$$$$

.：匹配除换行符\r\n之外的任意单个字符

[list]：匹配list列表中的一个字符 例： go[ola]d，[abc]、[a-z]、[a-z0-9]

[^list]：匹配任意不在list列表中的一个字符 例： [^a-z]、[^0-9]、[^A-Z0-9]

*：匹配前面子表达式0次或者多次 例：goo*d、go.*d

\{n\} :匹配前面的子表达式n次，例:go\{2\}d、'[O-9]\{2\}'匹配两位数字

\{n,\}:匹配前面的子表达式不少于n次，例: go\{2,\}d、' [0-9]\{2,\}'匹配两位及两位以上数字

\{n,m\}﹔匹配前面的子表达式n到m次，例: go\{2,3\)d、'[0-9]\{2,3\}'匹配两位到三位数字

注: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”

egrep -E -n 'wo{2}d' test.txt   //-E 用于显示文件中符合条件的字符

egrep -E -n 'wo{2,3}d' test.txt

定位符

^ 匹配输入字符串开始的位置

$ 匹配输入字符串结尾的位置

非打印字符

\n 匹配一个换行符

\r 匹配一个回车符

\t 匹配一个制表符

扩展正则表达式（支持的工具：egrep、awk）

通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用  范围更广的扩展正则表达式。例如，使用基础正则表达式查询除文件中空白行与行首为“#”

之外的行（通常用于查看生效的配置文件），执行“grep -v‘^$’test.txt | grep -v‘^#’”即可实现。这里需要使用管道命令来搜索两次。如果使用扩展正则表达式， 可以简化为“egrep

-v‘^$|^#’test.txt”，其中，单引号内的管道符号表示或者（or）。

此外，grep 命令仅支持基础正则表达式，如果使用扩展正则表达式，需要使用 egrep 或 awk 命令。awk 命令在后面的小节进行讲解，这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。

与基础正则表达式类型相同，扩展正则表达式也包含多个元字符，常见的扩展正则表达  式的元字符主要包括以下几个.

案列：

+ 作用：重复一个或者一个以上的前一个字符

示例：执行“egrep -n 'wo+d' test.txt”命令，即可查询"wood" "woood" "woooooood"等字符串

？ 作用：零个或者一个的前一个字符

示例：执行“egrep -n 'bes?t' test.txt”命令，即可查询“bet”“best”这两个字符串

| 作用：使用或者（or）的方式找出多个字符

示例：执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串

() 作用：查找“组”字符串

示例：“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的，所以将“a”与“e”

列于“()”符号当中，并以“|”分隔，即可查询"tast"或者"test"字符串

()+ 作用：辨别多个重复的组

示例：“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思

grep命令

grep命令使用正则表达式来搜索文本，并且把匹配的文本打印出来。

格式：grep [options]pattern [file]

option表示选项，pattern表示匹配的模式。file表示一系列文件名。

常用选项：

-c  只打印匹配的文本行的次数，不显示文本内容。

-i   匹配时忽略字母大小写

-h  当搜索多个文件，不显示匹配文件名前缀。

-l   只列出含义匹配的文本行的文件的文件名，不显示其具体匹配的内容。

-n  列出所有匹配的文本行，并显示行号

-s   不显示关于不存在或无法读取文件的错误信息

-v   只显示不匹配的文本行，反向选择，显示与搜索字符串不相符的行。

-w  匹配整个单词

-x   匹配整个文本行

-r   递归搜索，不仅搜索当前目录，还有各级子目录

-E   开启扩展（extend）的正则表达式

--color=auto 可以将找到的关键词部分加上颜色的显示

案列

grep -c root /etc/passwd

//统计root字符总行数;或cat ,letc/passwd / grep root

 grep -i "the" text.txt

//不区分大小写查找the所有的行

 

grep -v root /etc/passwd

//查看/etc/passwd，将没有出现root 的行取出来

 

cat web.sh /grep -v '^$' >test.txt1

//将非空行写入到test.txt文件

元字符操作的案列

（1）查找特定字符

查找特定字符非常简单，如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变为红色。

grep -n 'the' test.txt

若反向选择，如查找不包含“the”字符的行，则需要通过 grep 命令的“-v”选项实现，并配合“-n”一起使用显示行号。

grep -vn 'the' test.txt

（2）利用中括号“[]”来查找集合字符

想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

grep -n 'sh[io]rt' test.txt

若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。

grep -n 'oo' test.txt

若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。

grep -n '[^w]oo' test.txt

3:The home of Football on BBC Sport online.

5:google is the best tools for search keyword.

11:#woood #

12:#woooooood #

14:I bet this place is really spooky late at night!

在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则，二者均包含“w”。其实通过执行结果就可以看出，符合匹配标准的字符加粗显示，而上述结果中可以得知， “#woood #”中加粗显示的是“ooo”，而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。

若不希望“oo”前面存在小写字母，可以使用“grep -n‘[^a-z]oo’test.txt”命令实现，其中“a-z”表示小写字母，大写字母则通过“A-Z”表示。

[root@localhost ~]# grep -n '[^a-z]oo' test.txt

3:The home of Football on BBC Sport online.

查找包含数字的行可以通过“grep -n ‘[0-9]’ test.txt”命令来实现。

[root@localhost ~]# grep -n '[0-9]' test.txt

4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429

（3）查找行首“^”与行尾字符“$”

基础正则表达式包含两个定位元字符：“^”（行首）与“$”（行尾）。在上面的示例中， 查询“the”字符串时出现了很多包含“the”的行，如果想要查询以“the”字符串为行首的行，则可以通过“^”元字符来实现。

[root@localhost ~]# grep -n '^the' test.txt

4:the tongue is boneless but it breaks bones.12!

查询以小写字母开头的行可以通过“^[a-z]”规则来过滤，查询大写字母开头的行则使用

“^[A-Z]”规则，若查询不以字母开头的行则使用“^[^a-zA-Z]”规则。

[root@localhost ~]# grep -n '^[a-z]' test.txt

1:he was short and fat.

4:the tongue is boneless but it breaks bones.12! 5:google is the best tools for search keyword.

8:a wood cross!

[root@localhost ~]# grep -n '^[A-Z]' test.txt

2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.

6:The year ahead will test our political establishment to the limit. 7:PI=3.141592653589793238462643383249901429

9:Actions speak louder than words

13:AxyzxyzxyzxyzC

14:I bet this place is really spooky late at night! 15:Misfortunes never come alone/single.

16:I shouldn't have lett so tast.

[root@localhost ~]# grep -n '^[^a-zA-Z]' test.txt

11:#woood # 12:#woooooood #

“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]” 符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点（.）结尾的行。因为小数点（.）在正则表达式中也是一个元字符（后面会讲到），所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

[root@localhost ~]# grep -n '\.$' test.txt

1:he was short and fat.

2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.

5:google is the best tools for search keyword.

6:The year ahead will test our political establishment to the limit. 15:Misfortunes never come alone/single.

16:I shouldn't have lett so tast.

当查询空白行时，执行“grep -n‘^$’test.txt”命令即可。

[root@localhost ~]# grep -n '^$' test.txt

10:

（4）查找任意一个字符“.”与重复字符“*”

前面提到，在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。

[root@localhost ~]# grep -n 'w..d' test.txt

5:google is the best tools for search keyword.

8:a wood cross!

9:Actions speak louder than words

在上述结果中，“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料， 则需要使用星号（*）元字符。但需要注意的是，“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep

-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n 'ooo*' test.txt”命令即可。

[root@localhost ~]# grep -n 'ooo*' test.txt

3:The home of Football on BBC Sport online. 5:google is the best tools for search keyword.

8:a wood cross!

11:#woood # 12:#woooooood #

14:I bet this place is really spooky late at night!

查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现。

[root@localhost ~]# grep -n 'woo*d' test.txt

8:a wood cross!

11:#woood #

12:#woooooood #

执行以下命令即可查询以 w 开头 d 结尾，中间的字符可有可无的字符串。

[root@localhost ~]# grep -n 'w.*d' test.txt

1:he was short and fat.

5:google is the best tools for search keyword. 8:a wood cross!

9:Actions speak louder than words 11:#woood #

12:#woooooood #

执行以下命令即可查询任意数字所在行。

[root@localhost ~]# grep -n '[0-9][0-9]*' test.txt   

4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429

（5）查找连续字符范围“{}”

在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符，如果想要限制一个范围内的重复的字符串该如何实现呢？例如，查找三到五个 o 的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。

① 查询两个 o 的字符。

[root@localhost ~]# grep -n 'o\{2\}' test.txt

 3:The home of Football on BBC Sport online.

 5:google is the best tools for search keyword.

 8:a wood cross!

11:#woood # 12:#woooooood #

14:I bet this place is really spooky late at night!

② 查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。

[root@localhost ~]# grep -n 'wo\{2,5\}d' test.txt

8:a wood cross! 11:#woood #

③ 查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串。

[root@localhost ~]# grep -n 'wo\{2,\}d' test.txt

8:a wood cross!

11:#woood # 12:#woooooood #

二 cut、sort、uniq、tr

  cut：列截取工具

使用说明:cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一

选项：

-b：按字节截取

-c：按字符截取，常用于中文

-d：指定以什么为分隔符截取，默认为制表符

-f：通常和-d一起

[root@localhost ~]# cat /etc/passwd | cut -d':' -f 1

root

bin

daemon

[root@localhost ~]# cat /etc/passwd | cut -d':' -f 3

0

1

2

[root@localhost ~]# cat /etc/passwd | cut -d':' -f1,3

root:0

bin:1

daemon:2

[root@localhost ~]# cat /etc/passwd | cut -d':' -f1-3

root:x:0

bin:x:1

daemon:x:2

[root@localhost ~]# who | cut -b 3

o

o

o

[root@localhost ~]# who | cut -c 3

o

o

o

[root@localhost ~]# cat name | cut -b 2

[root@localhost ~]# cat name | cut -c 2

刚

春

注意：cut只擅长于处理单个字符为间隔的文本

sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样

语法：

sort [选项] 参数

常用选项

-t：指定分隔符，默认使用[Tab]吧 键或空格分隔

-k：指定排序区域，哪个区间排序

-n：按照数字进行排序，默认是以文字形式排序

-u：等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功

-r：反向排序，默认是升序，-r就是降序

-o：将排序后的结果转存至指定文件

-f: 忽略大小写，会将小写的字母都转换为大写字母来进行比较

-b: 忽略每行前面的空格

sort passwd.txt    //不加任何选项默认按第一列升序，字母的话就是从a到z由上而下显示

sort -n -t: -k3 passwd.txt    //以冒号为分隔符，以数字大小对第三列排序（升序）

sort -nr -t: -k3 passwd.txt   //以冒号为分隔符，以数字大小对第三列排序（降序）

sort -nr -t: -k3 passwd.txt -o passwd.bak    //将输结果不在屏幕上输出而是输出到passwd.bak文件

sort -u passwd.txt   //去掉文件中重复的行（重复的行可以是不连续的）

zhangsan

gggggg

lisi

uniq

主要用于去除连续的重复行

注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

（1）语法

uniq [选项] 参数

（2）常用选项

-c：对重复的行进行计数；

-d：仅显示重复行；

-u：仅显示出现一次的行

[root@localhost ~]# cat fruit  //创建一个水果类型的文件，一共9行内容

apple

apple

peache

pear

banana

cherry

cherry

banana

orange

[root@localhost ~]# cat fruit | uniq -c    //统计重复行的次数，不连续的重复行他不算做重复行

      2 apple

      1 peache

      1 pear

      1 banana

      2 cherry

      1 banana

      1 orange

[root@localhost ~]# cat fruit | sort | uniq -c   //结合sort使用就是我们想要的效果

      2 apple

      2 banana

      2 cherry

      1 orange

      1 peache

      1 pear

[root@localhost ~]# cat fruit | sort | uniq -d   //结合sort使用，过滤出重复行

apple

banana

cherry

[root@localhost ~]# cat fruit | sort | uniq -u    //结合sort使用，过滤出不重复的行

orange

peache

pear

[root@localhost ~]# cat fruit | sort | uniq      //结合sort使用，去重

apple

banana

cherry

orange

peache

pear

[root@localhost ~]# cat fruit | sort -u     //也可以直接用sort -u

apple

banana

cherry

orange

peache

pear

实例1：查看登陆用户

[root@localhost ~]# who

root     :0           2021-04-29 00:09 (:0)

root     pts/0        2021-04-29 00:09 (:0)

root     pts/1        2021-06-10 01:32 (192.168.245.1)

[root@localhost ~]# who | awk '{print $1}'

root

root

root

[root@localhost ~]# who | awk '{print $1}'| uniq

root

实例2：查看登陆过系统的用户

[root@localhost ~]# last | awk '{print $1}' | sort | uniq | grep -v "^$" | grep -v wtmp

reboot

root

shengjie

tr：它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符

语法

用法：tr [选项]… SET1 [SET2]

从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。

常用选项

-d 删除字符

-s 删除所有重复出现的字符，只保留第一个

[root@localhost ~]# cat fruit | tr 'a-z' 'A-Z'

APPLE

APPLE

PEACHE

PEAR

BANANA

CHERRY

CHERRY

BANANA

ORANGE

[root@localhost ~]# cat fruit | tr 'apple' 'APPLE'    //替换是一一对应的字母的替换

APPLE

APPLE

PEAchE

PEAr

bAnAnA

chErry

chErry

bAnAnA

orAngE

[root@localhost ~]# cat fruit | tr 'a' ' '   //把替换的字符用单引号引起来，包括特殊字符

 pple

 pple

pe che

pe r

b n n

cherry

cherry

b n n

or nge

[root@localhost ~]# cat fruit | tr 'a' '/'      

/pple

/pple

pe/che

pe/r

b/n/n/

cherry

cherry

b/n/n/

or/nge

[root@localhost ~]# cat fruit | tr 'ap' '/'    //多个字符替换成一个

///le

///le

/e/che

/e/r

b/n/n/

cherry

cherry

b/n/n/

or/nge

[root@localhost ~]# cat fruit | tr "'" '/'     //如果想替换单引号则需要用双引号把单引号引起来，反斜杠转义也不行

apple

apple

peache

pear

banana

cherry

cherry

banana

/orange/

[root@localhost ~]# cat fruit | tr -d 'a'    //删除所有a

pple

pple

peche

per

bnn

cherry

cherry

bnn

'ornge'

[root@localhost ~]# cat fruit | tr -d 'apple'    //把所有含有这5个字母的都删除

ch

r

bnn

chrry

chrry

bnn

'orng'

[root@localhost ~]# cat fruit | tr -d '\n'    //删除换行符

appleapplepeachepearbananacherrycherrybanana'orange'[root@localhost ~]#   

[root@localhost ~]# cat fruit | tr -s 'p'    //对p字符去重，只保留第一个

aple

aple

peache

pear

banana

cherry

cherry

banana

'orange'

[root@localhost ~]# cat fruit | tr -s '\n'   //遇到多个回车只保留一个回车，相当于去除空行

apple

apple

peache

pear

banana

cherry

cherry

banana

'orange'

1. 文件处理器

sed

文本处理工具，读取文本内容，根据指定的条件进行处理，如删除、替换、添加等

可在无交互的情况下实现相当复杂的文本处理操作

被广泛应用于Shell脚本，以完成自动化处理任务

sed依赖于正则表达式

工作原理：读取-->执行-->显示

读取：从输入流（文件、管道、标准输入）中读取一行内容并储存到临时的缓冲区中（又称模式空间，pallern space）

执行：默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行

显示：发哦那个修改后的内容到输出流。在发送数据后，模式空间将会被清空。

在所有的文件内容都被清理处理干净之前，上述过程将重复执行，直至所有内容被处理完

注意：默认情况下所有的sed

命令都是在模式空间内执行，因此输入的文件并不会发生任何变化，除非使用重定向存储输出

sed命令常见用法

通常情况下调用sed命令有俩种格式，如下所示。其中，“参数”是指操作的目标文件，当存在多个操作对象时用，文件之间用逗号“，”分割，而scriptfilc表示脚本文件，需要用-f去选项指定，当脚本文件出现在目标文件之前是，表示通过指定的脚本文件来处理输入的目标文件

常用的sed命令选项

-e或--exprossion：表示用指定命令或者脚本来处理输入的文本文件

-f或--filc：表示用指定的脚本文件来处理输入的文本文件

-h或--helo：显示帮助

-n、--quiet或silent：表示仅显示处理后的结果

-i.bak：之间编辑文本文件

-r，-E：使用扩展正则表达式

-s：将多个文件视为独立文件，而不是单个连续的长文件流

“操作”用于对文件操作的动作行为，也就是ised的命令。通常情况下时采用的

“[n1[,n2]]”操作参数的格式。n1 n2时可选的，代表选择进行操作的形式，如操作需要在5-20行之间进行，则表示为”5,20”动作行为，常见的操作如下

a：泽佳，在当前行下面增加一行指定内容

c：替换，将选定行替换为指定内容

d：删除，删除选定的行

i：插入，在选定行上面插入一行指定内容

p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCLL码输出。其通常与”-n”选项一起使用

s：替换，替换指定字符

y：字符转换

sed -n 'p' text.txt   ##打印所有

 sed -n '3p' text.txt  ###打印第三行

 sed -n '3,5p' text.txt   ###打印3-5行

sed -n 'p;n' text.txt  ##显示所有的奇数行，表示读入下一行资料

sed -n 'n;p' text.txt  ###打印所有的偶数行，表示读入下一行资料

 

sed -n '1,5p;n' text.txt   ###打印1-5行的奇数行

 sed -n '10,${n;p}' text.txt    ###打印以第十行开始计算为第一行到末尾的偶数行

在执行时，读取的第一行时文件的第十行，读取的第二行时文件的第十一行，以此类推，所以输出的偶数行是，以此类推直至末尾，其中包括空行

 ifconfig ens33 |sed -n 2p   ###打印IP所在行

以上是sed命令的基本用法，sed命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。

sed -n '/the/p' text.txt   ##打印有the的行

  sed -n '4,/the/p' text.txt  ##打印第四行至第一个包含the的行

  sed -n '/the/=' text.txt   ##输出包含the的行的行号

sed -n '/^PI/p' text.txt    ##打印以PI开头的行

 sed -n '/[0-9]$/p' text.txt  ##打印以0-9 结尾的行

sed -n '/\<wood\>/p' text.txt  ##打印包含wood单词的行

 

删除符合条件的文本（d）

下面命令中nl命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行地结果。

 nl text.txt |sed '3d'  ##删除第三行

 

nl text.txt |sed '3,5d'   ##删除3-5行

nl text.txt |sed '/the/d'  ##删除包含the的行

nl text.txt |sed '/the/!d'  ##删除除了包含the 的行

sed '/^[a-z]/d' text.txt  ##删除以a-z开头的行

 

 sed '/\.$/d' text.txt  ##删除以.结尾的行

 

 

sed '/^$/d' text.txt  ##删除所有的空行

注意：若是删除重复的空行，即连续的空行只保留一个，”cat -s text,.txt”

替换符合条件的文本

在使用sed命令进行替换操作时需要用到s（字符串替换）、c（整行/整块替换）、y（字符转换）命令选项，常见用法如下所示

sed 's/the/THE/' text.txt   ##将每行中第一个the替换成THE

 

 sed 's/l/L/2' text.txt   ##替换文本中每一行的第二个l为L

 

 

sed 's/the/THE/g' text.txt   ##将文本中所有的the替换成THE

sed 's/o/ /g' text.txt  ##将文本中所有的o替换成空格

 

 sed 's/^/#/g' text.txt  ##在每行开头添加一个#

 

 sed '3,5s/^/#/g' text.txt   ##在3-5行开头添加一个#

 

 sed '/the/s/o/W/g' text.txt  ##将所有包含the的行中的o替换为W

 

 

迁移符合条件的文本

在使用sed命令迁移符合条件的文本时，常用到以下参数

H：赋值到剪切板

w：保存为文件

q、G：将剪贴板中的数据覆盖/追加至指定行

r：读取指定文件

a：追加指定内容，具体操作方法如下所示

I，i 忽略大小写

 sed '/the/{H;d};$G' text.txt  ##将包含the的行移动到行尾

 

 

sed '1,5{H;d};15G' text.txt  ##将1-5行移动到15行之后

sed '/the/w dc.txt' text.txt   ##将包含the的行另外存储到dc.txt

 sed '/the/r /etc/hostname' text.txt   ##插入一行主机名到包含the的行的下一行

 

 sed '3aNEW' text.txt   ##在第三行后插入一个新行，内容为NEW

 

 

sed '/the/aNEW' text.txt  ##在包含the的行后插入一个新行，内容为NEW

sed '3awwww\nww' text.txt  ##在第三行后插入多行内容，\n表示换行

 

 

利用脚本操作sed命令

vim xy.list

1,5H

1,5d

$G

保存退出

sed -f xy.list text.txt

##将text.txt 文本的1-5行剪切到末尾

sed '/^/{s/root/ROOT/;s/x/X/g}' text.txt  ##将每一行的所有root改为ROOT，x改为X

sed -ne '/^/{s/wo/WO/;s/y/Y/g}' -ne '1,10p' text.txt  ##将每一行的wo改为WO，y改为Y，并且显示1-10行的修改结果

 echo 123456789 | sed -r 's/(123)(456)(789)/\1/'  ##将文本进行分组，并且替换成想要选择的分组

 

 ifconfig ens33 | sed -rn '2s/.*inet ([0-9.]+) .*/\1/p'  ##打印出自己的ip地址 -rn表示开启正则表达式并仅显示处理后的打印结果  2s表示在第二行进行替换操作，.表示任意的单个字符，*表示匹配零个和多个前导字符，（[0-9.]+）表示分组，组内是0-9数字并以.分割，+表示重复一个或者一个以上的前一个字符，\1表示选定第一个分组，p表示显示

 

 

awk

工作原理:

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符”

s"表示"与"、"||表示"或"、"!"表示非" ；i还可f以进行简中的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk内置变量

FS:指定每行文本的字段分隔符，缺省为空格或制表位

NF:当前处理的行的字段个数

NR:当前处理的行的行号(序数)

$0:当前处理的行的整行内容

$n:当前处理行的第n个字段(第n列)

FTLENAME：被处理的文件名

RS：行分隔符，awk从文件上读取资料室，价格根据RS的定义把资料切割成许多条记录，

而awk一次仅读入一条记录，以进行处理。预设值是“\n”

简说：数据记录分隔，默认为\n，即每行为一条记录

awk -F : '{print $1}' xy   ##打印xy文本的第一列，并以：为分隔符

 

 

awk -F : '{print $1,$2}' xy   ##打印xy文本的第一列和第二列，并以：为分隔符

用逗号分隔，显示有空格效果

awk -F: '/home/{print $0}' xy  ##打印包含home的整行内容

 

 

awk -F: '/home/{print $1}' xy  ##打印包含home的第一列

awk -F[:/] '{print NF}' xy  ##统计以：和/作为分隔符，有多少列数

 

 

awk -F[:/] '{print NR}' xy  ##显示行号

awk ‘NR==10’ xy  ##显示第十行整行内容

awk -F: 'NR==10{print $1}' xy  ##以:为分隔符，打印第十行的第一列

 

awk -F: 'NR==10{print $NF}' xy  ##打印第十行的最后一列 

awk 'END{print NR}' xy  ##统计行数

 

 ifconfig ens33 |awk '/netmask/{print $2}'  ##打印本机IP地址

ifconfig ens33| awk '/RX p/{print $5}'  ##打印当前流量

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅再读取完数据记录之后执行一次

awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' xy  ##OFS定义输出时以什么分隔，$1$2中间需要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

 

 

awk的运算

模糊匹配，用~表示包含，！~表示不包含

 awk -F: '$1~/ro/{pring $2}' xy  ##打印第一列包含ro的行的第二列，以:分隔

 awk -F: '$1!~/ro/{pring $2}' xy  ##打印第一列不包含ro的行的第二列，以:分隔

awk -F: '$1=="xy"' xy  ##打印第一列等于xy的行

 

 awk -F: '$3>=1000' xy  ##打印第三列大于等于1000的行

 

 awk -F: '$3<10 || $3>=1000' xy  ##打印第三列小于10，或者第三列大于1000的行

 

 

awk -F: '$3>10 && $3<=1000' xy  ##打印第三列大于10并且小于1000的行

awk  'NR>2 && NR<9' xy  ##打印行号大于2小于9的整行

seq 200 | awk '$1%7==0 && $1~/7/'  ##打印第一列除以7取余等于0且第一列包含7的行

 

 

awk '{print FNR,$0}' xy /etc/passwd   ##分开显示俩个文件的行号，NR会按顺序显示俩个文本的行号，不会重新计算

awk 'BEGIN{RS=":"}{print $0}' xy  ##每碰到一次:就换行继续显示

awk 'BEGIN{ORS=" "}{print $0}' xy  ##把多行合并为一行，输出时以空格分隔每行，可自定义

awk高级用法

awk -v b="$a" 'BEGIN{print b}' ##将系统的变量a，在awk里赋值为变量b，然后再调用变量b

awk 'BEGIN{print "'$a'"}'     ##直接调用需要先用双引号再用单引号

awk -vc=1 'BEGIN{print c}'    ##awk直接定义并引用

 

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行 

 

 awk -F: '{if($3<10){print $0}}' /etc/passwd  ##打印第三列小于10的整行

 

 

awk -F: '{if($3<10){print $2}else{print $5}}' xy

##第三列小于10，打印第二列，否则打印第五列

 

 

awk还支持for循环，while循环，函数，数组等

awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}' /etc/passwd  

##x=0是定义变量，/\/bin\/bash$/是以/bin/bash结尾的行，x++每次循环加1，print x,$0，打印每次循环的x值和整行内容，END结束操作 最后的print x表示统计一共有多少满足条件的行或者进行了多少次循环

grep -c "/bin/bash$" /etc/passwd  ##统计以/bin/bash结尾的有多少行

 

三元运算符

awk -F: '{mak=($3>$4) ?$3:$4; {print mak}}' xy  ##$3>$4) ?$3:$4三元运算符，如果第三个列的值大于第四列的值，则把第三列赋值给max，否则将第四列赋值给max

 

 

awk -F: '($1~"root") && (NF==7) {print $0}' /etc/passwd

##第一列包含root且列数等于7，打印整行内容

通过管道、双引号调用shell命令

echo $PATH| awk 'BEGIN{RS=":"};END {print NR}'

echo $PATH| awk 'BEGIN{RS=":"};{print NR,$0};END {print NR}'

 ##统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句

 

 

内存

查看当前内存使用百分比

free -m |awk '/Mem:/{print int($3/($3+$4)*100)"%"}'

free -m |awk '/Mem:/{print $3/$2}'0.327869

free -m |awk '/Mem:/{print $3/$2*100}'32.7869

free -m |awk '/Mem:/{print $3/$2*100}'32

free -m |awk '/Mem:/{print $3/$2*100}'

free -m |awk '/Mem:/{print int($3/$2*100)"%"}'32

 free -m |awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%"}'

 

top -b -n 1 |grep Cpu|awk -F ',' '{print $4}' | awk '{print $1}'  ##查看当前CPU空闲率，（-b -n 1表示只需要1此的输出结果）

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago"+"%F %H:%M:%S"  

##显示上次系统重启时间，等同于uptime；second ago为显示多少秒前的时间。

3.总结

基础正则表达式元字符的用法

扩展正则表达式元字符的用法

文本处理器的常用方法（sed、awk、sort、uniq、tr）