文章目录
一、正则表达式
- 正则表达式,又称正规表达式、常规表达式
- 使用字符串来描述、匹配一系列符合某个规则的字符串
- 正则表达式组成
◆ 普通字符
♢ 大小写字母、数字、标点符号以及一些其他符号
◆ 元字符
♢ 在正则表达式中具有特殊意义的专用字符 - 正则表达式层次
◆ 基础正则表达式
◆ 扩展正则表达式 - Linux中文本处理工具
◆ grep
◆ egrep
◆ sed
◆ awk
1. 概述
shell文本编辑三剑客:grep,sed, awk
正则表达式分为:基础正则表达式与扩展正则表达式,它不是一个字符串处处理的依据标准,是使用单个字符串搜索,匹配一系列的符合某个语法规则的字符串。
它由普通字符(a~z)以及特殊字符(元字符)组成。
1.1 基础正则表达式
例子:
命令 | 结果 |
---|---|
grep -n ‘the’ as.txt | 筛选出文件包含的the的行 |
grep -in ‘the’ as.txt | 筛选出文件包含的the不区分大小写 |
grep -vn ‘the’ as.txt | 筛选出不包含the的行,v是反向选择 |
grep -n ‘sh[io]rt’ as.txt | 筛选文件中sh带有i或o的字符的行 |
grep -n ‘oo’ as.txt | 查找文件包含的重复单个字符oo |
grep -n ‘[^w] oo’ as.txt | 查找oo前面不是w的字符串(是aa前面的字符是符合匹配) |
grep -n ‘[^a-z]oo’ as.txt | 查找oo前面不是小写字母的字符(A-Z)是大写字母 |
grep -n ‘[0-9]’ as.txt | 查找包含数字的行 |
grep -n ‘^the’ as.txt | 查找行首the开头的字符行 |
grep -n ‘a$’ as.txt | 查找结尾为a的字符行 |
grep -n ‘^ [ a-z ]’ as.txt | 查找以小写字母的开头的行,(大写是A-Z)注意^是在[]外面哦 |
grep -n ‘^$’ as.txt | 查询空行 |
grep -n ‘w…d’ as.txt | 查询任意一个字符. |
grep -n ‘ooo*’ as,txt | 查询重复的字符,可以使用* |
grep -n ‘woo*d’ as.txt | 查询以w开头,d结尾,中间至少包含一个o的字符串 |
grep -n ‘w.*d’ as.txt | 查询w开头,d结尾。中间的字符可有可无的字符串 |
grep -n ‘o \ {2\ }’ as.txt | 查询两个o的字符 |
grep -n ‘wo\ {2,5\ }d’ as.txt | 查询w开头,d结尾,中间包含的2~5个o的字符串 |
grep -n ‘wo\ {2,\ }d’ as.txt | 查询w开头,d结尾,中间包含的2个或2个以上的o字符串 |
1.2 扩展正则表达式
二、文本处理器
2.1 sed工具
- sed是一种流编辑器,流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
- sed编辑器可以根据命令来处理数据流中的数据,这些命令要么从命令行中输入,要么存储在一个命令文本文件中
- 文本处理工具,读取文本内容,根据指定条件进行处理,如:删除,替换,添加等
- 可在无交互的情况下实现相当复杂的文本处理操作
- 被广泛应用于shell脚本,以完成自动化处理任务
- sed依赖于正则表达式
工作的原理:
读取→执行→显示
在所有文件内容都被处理完成之前,上面的流程将重复执行,直至所有的内容被处理完。
注意:
默认情况下所有的sed命令都是在模式空间内执行的,因此输的文件并不会发生任何变化,除非是用重定向存储输出,或者 -i 直接编制文本文件;最好做编辑时把原文件备份一下;
2.1.1 命令格式
-
sed -e ‘编辑指令’ 文件1 文件2
-
sed -n -e ‘编辑指令’ 文件1 文件2
-
sed -f 脚本文件 文件1 文件2
-
sed -i -e ‘编辑指令’ 文件1 文件2
常用选项
选项 | 作用 |
---|---|
-e | 指定要执行的命令,只有一个编辑命令是可以省略 |
-n | 只输出处理后的行,读入时不显示 |
-i | 直接编辑文件,而不输出结果 |
-f | 用指定的脚本文件来处理输入的文本文件 |
-h | 显示帮助 |
编辑格式
例子:
以as.txt文本为例
- 输出
- 删除
- 替换
- 迁移
输出
sed -n ‘p’ as.txt | 输出所有内容,等同于cat as.txt |
sed -n ‘3p’ as.txt | 输出第三行 |
sed -n ‘3,5p’ as.txt | 输出第3~5行 |
sed -n ‘p;n’ as.txt | 输出第所有奇数行,n表示读入下一行资料 |
sed -n ‘n;p’ as.txt | 输出第所有偶数行,n表示读入下一行资料 |
sed -n ‘1,5{p;n}’ as.txt | 输出第 1~5 行之间的奇数行(第 1、3、5 行) |
sed -n ‘10,${n;p}’ as.txt | 输出第 10 行至文件尾之间的偶数行 |
sed -n ‘/the/p’ as.txt | 输出包含the 的行 |
sed -n ‘/the/=’ as.txt | 输出包含the 的行所在的行号,等号(=)用来输出行号 |
sed -n ‘/[0-9]$/p’ as.txt | 输出以数字结尾的行 |
删除
下面命令中 nl 命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行的结果。可以先nl看下,然后在删除
注: 根据不同选项结合起来,实现不同的效果
nl as.txt | sed ‘3d’ |
nl as.txt | sed ‘3,5d’ |
sed ‘d’ as.txt | 全删 |
sed ‘$d’ as.txt | 删除结尾最后一行 |
sed ‘^$d’ as.txt | 删除空行 |
sed ‘/bash$/d’ /etc/passwd | 删除结尾含有bash的行 |
sed ‘/nologin$/!d’ /etc/passwd | 不删除含有nologin的,其他的都删除 |
sed ‘/2/, /3/d’ as.txt | 从第一个包含数字2的行,一直删除到包含数字3结束,注:(如果数字3之后,还有数字2,那么继续从第一个数字2开始删除,知道删除到包含数字3结束或没有3删除全部后结束) |
替换:
s | 字符串替换 |
c | 整行/整块替换 |
y | 字符转换 |
g | 表明新字符串将会替换所有匹配地方 |
p | 打印与替换命令匹配的行,与-n一起使用 |
w | 文件:将替换的结果写到文件中 |
sed -n ‘s/root/admin/p’ /etc/passwod | 将文件内的带有root的改成admin并打印出来,只更改第一个root |
sed -n ‘s/root/admin/gp’ /etc/passwod | +g将文件内的带有root的都改成admin并打印出来, |
sed -n ‘s/root/admin/2p’ /etc/passwod | 将带有root行的第2个root的替换,第一个root不替换 |
sed -n ‘s/root/ /gp’ /etc/passwd | 将所有root替换成空格,也可以理解为删除,删除不就变成空格了嘛 |
sed -n ‘/^root/ s/$/#/p’ /etc/passwd | 将开头是root的行,结尾$替换成# |
sed -n ‘1,20 s/^/#/p’ /etc/passwd | 将文件内1到20行开头替换成# |
sed -f sc.sed /etc/passwd | 对文件 执行脚本文件内的sed命令 |
sed ‘1,10w as.txt’ /etc/passwd | 将文件的1到10行保存到另一个文本文件内 |
sed ‘1,10 s/^/#/w as.txt’ /etc/passwd | 将文件的1到10行开头替换成#保存到as.txt文件内(会覆盖原有的内容哦) |
sed ‘/root/c abc’ | 将包含root的整行,替换成abc |
sed ‘/root/ y/root/abbb/’ | 将包含root的字符,同等字符长度的替换,root=4 ,abbb=4 |
迁移插入
H | 复制到剪贴板 |
G | 将复制的数据粘贴到指定行 |
r | 读取指定文件 |
a | 追加指定内容 |
sed ‘$a ABC’ /etc/passwd | 在文件结尾追加ABC |
sed ‘1i ABC’ /etc/passwd | 在文件第一行插入ABC |
sed ‘5r /root/hg.txt’ /etc/passwd | 在/etc/passwd文件中第五行读取root下的文本文件hg.txt |
sed ‘/root/{H;d};$G’ /etc/passwd | 将包含root的行复制后,删除原有的行,粘贴到结尾 |
sed ‘1,5H;15,16G’ /etc/passwd | 将文件第一行到第五行复制,分别粘贴到15行,16行下 |
2.2 awk
- 工作原理:逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令;
- sed命令常用于一整行的整理,而awk比较倾向将一行分成多个字段 然后在进行处理。
- awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。
- 在使用awk命令的过程中,可以使用逻辑操作符&&表示与,||表示或,!表示非;还可以进行简单的数学运算,+ ,-, *,/,%,^ 分别表示加,减,乘,除,取余,乘方,
2.2.1 命令格式
awk 选项 '模式或条件' {操作} 文件1 文件2
awk -f 脚本文件 文件1 文件2
2.2.2 常见内建变量
例子:
按行输出
awk ‘{print}’ as.txt | 输出所有内容 |
awk ‘{print $0}’ as.txt | 输出所有内容 |
awk ‘NR==1{print}’ as.txt | 输出第一行内容 |
awk ‘NR= =1,NR= =3{print}’ as.txt | 输出第一行到第三行内容 |
awk ‘NR= =1 双管道符竖杠NR= =3{print}’ as.txt | 输出第一行和第三行内容 |
awk ‘(NR%2)==1{print}’ as.txt | 输出所有奇数行的内容,行数除以2余1的话就是说明是奇数; |
awk ‘(NR%2)==0{print}’ as.txt | 输出所有偶数行的内容,行数除以2余0的话就是说明是偶数; |
awk ‘/^root/{print}’ /etc/passwd | 输出以root开头的行 |
awk ‘/nologin$/{print]’ /etc/passwd | 输出以nologin结尾的行 |
awk ‘BEGIN {x=0}; //bin\ /bash$/{x++};END {print x}’ /etc/passwd | 统计以/bin/bash结尾的行,先执行BEGIN定义的x是0,有一个以/bin/bash结尾的行x就+1,最后执行END 打印x是多少 |
按字段输出文本
awk -F “:” ‘{print $3}’ /etc/passwd | 输出每行中(以空格或制表符分隔的第三个字段) |
awk -F “:” ‘{print $1 $3}’ /etc/passwd | 输出每行的第1,3个字段 |
awk -F “:” ‘$3<5{print $1,$3}’ /etc/passwd | 输出第三个字段小于5的第一个,第三个字段 |
awk -F “:” {max=($3>$4)? $3: $4;{print max}}’ /etc/passwd | 三元运算符,如果第三个字段的值大于第四个字段的值,则把第三个字段的值赋给max,否则第四个字段的值复制给max |
awk -F “:” ‘{print NR,$0}’ /etc/passwd | 输出全部行号和全部内容 |
awk -F “:” ‘($1~“root”) && (NF==7){print $1,$2}’ /etc/passwd | 输出第一个字段包含root且有七个字段的第1,2字段 |
awk -F “:” ‘($7!="/bin/bash") && ($7!="/sbin/nologin") {print}’ /etc/passwd | 输出第七个字段不包含/bin/bash,也不包含/sbin/nologin的所有行 |
通过管道,双引号调用shell命令
- echo $ PATH | awk ‘BEGIN{RS=":"};END{print NR}’
统计以冒号分隔的文本段落数,END{}语句块中,往往会放入打印结果; - awk -F : ‘/bash$ /{print | "wc -l "}’ /etc/passwd
调用wc -l 命令统计使用/bash结尾的用户个数,同grep -c ‘bash$’ /etc/passwd 相同 - awk ‘BEGIN {while(“w” | getline) n++; {print n-2}}’
调用w命令,并用来统计当前在线用户 - awk ‘BEGIN {“hostname”| getline ; print $0}’
调用hostname,并输出当前主机名 - 当getline左右无重定向符< 或 | 时,getline用于当前的文件,读入当前文件的第一行给其后面的的变量var或$0;应该注意到,由于awk在处理getline之前已经读了一行,所以getline得到的返回结果是隔行的。
- 当getline左右有定向符,getline用于定向输入文件,由于该文件是刚打开的,并没有被awk读入一行,只是getline读入,那么getline返回的是该文件的第一行,而不是隔行。
2.3 sort
- sort [选项] 参数
- 常用的选项
◆ -f:忽略大小写
◆ -b:忽略每行前面的空格
◆ -M:按照月份进行排序
◆ -n:按照数字进行排序
◆ -r:反向排序
◆ -u:等同于 uniq,表示相同的数据仅显示一行
◆ -t:指定分隔符,默认使用[Tab]键分隔
◆ -o <输出文件>:将排序后的结果转存至指定文件
◆ -k:指定排序区域
例子:
[root@localhost ~]# sort /etc/passwd #将/etc/passwd 文件中的账号进行排序#
[root@localhost ~]# sort -t ‘:’ -rk 3 /etc/passwd #将/etc/passwd 文件中第三列进行反向排序#
[root@localhost ~]# sort -t ‘:’ -k 3 /etc/passwd -o user.txt
[root@localhost ~]# cat user.txt #将/etc/passwd 文件中第三列进行排序,并将输出内容保存至 user.txt 文件中#
2.4 uniq
- 命令语法格式
uniq [选项] 参数
- 常用选项
◆ -c:进行计数;
◆ -d:仅显示重复行;
◆ -u:仅显示出现一次的行
例子:
[root@localhost ~]# cat testfile
[root@localhost ~]# uniq testfile #删除 testfile 文件中的重复行#
[root@localhost ~]# uniq -c testfile #删除 testfile 文件中的重复行,并在行首显示该行重复出现的次数#
[root@localhost ~]# uniq -d testfile #查找 testfile 文件中的重复行#
2.5 tr
- tr 具体的命令语法格式
tr [选项] [参数]
- 常用选项
◆ -c:取代所有不属于第一字符集的字符;
◆ -d:删除所有属于第一字符集的字符;
◆ -s:把连续重复的字符以单独一个字符表示;
◆ -t:先删除第一字符集较第二字符集多出的字符。
例子:
[root@localhost ~]# echo “KGC” | tr ‘A-Z’ ‘a-z’
kgc ##将输入字符由大写转换为小写##
[root@localhost ~]# echo “thissss is a text linnnnnnne.” | tr -s ‘sn’
this is a text line. ##压缩输入中重复的字符##
[root@localhost ~]# echo ‘hello world’ | tr -d ‘od’
hell wrl ##删除字符串中某些字符##