9 正则

 

9.1 正则介绍_grep(上)

正则是什么？
正则就是一串有规律的字符串
掌握好正则对于编写shell脚本有很大帮助
各种编程语言中都有正则，原理是一样的
正则三剑客：grep/egrep、sed、awk

egep -v "^#^$" /etc/config |wc -l
grep -rn ""
grep    跟下面的参数！
-c    过滤出的关键词 共有多少行数
-i     过滤出的关键词 不区分大小写
-n    过滤出的关键词 显示行号
-v     取反(非关键词行也列出来)
-r    遍历所有子目录(含有关键词行的子目录会紫色标记)
-A     -A跟任意数字(如3)：过滤出关键词行和关键词下面任意数字行(如3行)
-B    -B跟任意数字(如3)： 过滤出关键词行和关键词上面任意数字行(如3行)
-C    -B跟任意数字(如3)：过滤出关键词行和关键词上下各任意数字行(如3行)

[root@hostname grep]#cp /etc/passwd . #拷贝/etc/passwd文件到当前目录下做测试：

 

1. grep -c 过滤出含有关键词行,统计共有多少行 ？  

grep -c '关键词'  文件名

[root@hostname grep]#grep -c 'nologin' passwd

 

-n   显示行号

2. grep -n 过滤出含有关键词行打印到屏幕,并标记行号 ：

grep -n '关键词'  文件名

[root@hostname grep]#grep -n 'nologin' passwd

 

-i   不区分大小写

3. grep -ni 关键词行打印到屏幕,并标记行号同时关键词不区分大小写！

grep -ni '关键词'  文件名   (文件内容中,关键词含有大小写字母都可以筛选出来)

[root@hostname grep]#grep -ni 'nologin' passwd

 

-v   取反

4. grep -vni 不包含关键词行,关键词也不区分大小写,并标记行号打印到屏幕!

grep -vni '关键词'  文件名

[root@hostname grep]#grep -vni 'nologin' passwd

 

-r   遍历所有子目录

5. 筛选出/etc下, 含有关键词行的子目录并遍历(紫色标记的) ：

grep  -r  '关键词'  指定目录

[root@hostname grep]#grep -r 'nologin' /etc/

 

-A   后面跟数字，过滤出符合要求的行以及下面n行

6. grep -nA任意数字

过滤出含有关键词行,同时列出关键词行 下面的2行 ：

grep -nA2 '关键词'  文件名

[root@hostname grep]#grep -nA2 'root' passwd

 

-B   同上，过滤出符合要求的行以及上面n行

7. grep -nB任意数字

过滤出含有关键词行,同时列出关键词行 上面的2行 ：

grep -nB2 '关键词'  文件名

[root@hostname grep]#grep -nB2 'root' passwd

 

-C   同上，同时过滤出符合要求的行以及上下各n行

8. grep -nC任意数字

过滤出含有关键词行,同时列出关键词行 上面和下面各2行 ：

grep -nC2 '关键词'  文件名

[root@hostname grep]#grep -nC2 'root' passwd

 

9.2 grep(中)  

1. 过滤出 包含0-9数字的行：grep '[数字范围]' 文件名

[root@hostname grep]#grep '[0-9]' passwd

2. 过滤出 不包含0-9数字的行：grep -v '[数字范围]' 文件名

[root@hostname grep]#grep -v '[0-9]' passwd

^放在方括号里面，是方括号里面字符的反义(非)

^放在方括号外面，以方括号里面字符开头

3. 过滤出 以#号开头的行：grep -n '^#' 文件名

[root@hostname grep]#grep -n '^#' passwd

4. 过滤出 不以#号开头的行：grep -nv '^#' 文件名

[root@hostname grep]#grep -nv '^#' passwd

5. 过滤出 含有非0-9数字行(纯数字行不会显示),非数字字符红色标记：

[root@hostname grep]#grep -n '[^0-9]' passwd

6. 过滤出 含有非a-z字母行(纯字母行不会显示),非字母字符红色标记：

[root@hostname grep]#grep -n '[^a-z]' passwd

7. 过滤出 不以0-9数字开头的行：

[root@hostname grep]#grep -n '^[^0-9]' passwd

8. 过滤出 以0-9数字开头的行：

[root@hostname grep]#grep -nv '^[^0-9]' passwd

9. 过滤出 不以a-z字母开头的行：

[root@hostname grep]#grep -n '^[^a-z]' passwd

10. 过滤出 以a-z字母开头的行：

[root@hostname grep]#grep -nv '^[^a-z]' passwd

9.3 grep(下)

1. 匹配出 含有关键词.关键词的行(. 点表示任意的一个字符)：

grep '关键词.关键词' 文件名

[root@hostname grep]#grep 'r.o' passwd

 

2. 匹配出  含有关键词的行(*左边字符可重复任意次)：

[root@hostname grep]#grep 'o*o' passwd

 

3. 匹配出 所有字符所有行都匹配了：

[root@hostname grep]#grep '.*' passwd

 

4. 匹配出 包含关键词.*关键词行：

grep '关键词.*关键词' 文件名

[root@hostname grep]#grep 'hao.*bash' passwd

 

5. {}里的数字，表示{}前面关键词的重复范围：

[root@hostname grep]#grep 'o\{2\}' passwd

或[root@hostname grep]#egrep 'o\{2\}' passwd

或[root@hostname grep]#grep -E 'o\{2\}' passwd

6. oo组合的2次重复，匹配出不少于4个o的行：

[root@hostname grep]#egrep '(oo){2}' passwd

 

7. +(加号)左边关键词o 可1次或多次重复，后面匹配关键词t

[root@hostname grep]#egrep 'o+t' passwd

 

8. ？前面字符的重复次数为0或1，

[root@hostname grep]#egrep 'o?2o' passwd

 

9. | 或者匹配出包含关键词

      (或者)匹配出关键词

      (或者)匹配出包含关键词的行！

[root@hostname grep]#grep -E 'root|nologin|hao' passwd

 

总结：

.	任意一个字符
*	0个或多个*号前面的字符
.*	通配 所有的都匹配,没有字符也匹配
{}	花括号里的数字,表示{}前面的字符范围，前面字符可以用()括起来
+	一个或多个加号前面的字符
？	0个或1个 问号前面的字符
|	表示 或者,意思

9.4 sed(上)

1. 创建目录 ：              

[root@hostname ~]# mkdir sed

2. 进入目录 ：                  

[root@hostname ~]# cd sed

3. 拷贝/etc/passwd到当前目录，并重命名 ：

[root@hostname sed]# cp /etc/passwd   test.txt

匹配指定行：

1. 匹配 含有关键词(root)行：

sed -n '/关键词/'p 文件名

[root@hostname sed]# sed -n '/root/'p test.txt

 

2. 匹配 关键词.关键词(点,一个任意字符)的行 ：

sed -n '/关键词.关键词/'p 文件名

[root@hostname sed]# sed -n '/r.t/'p test.txt

 

3. 匹配 *星号右边关键词的行，全部打印出来：

sed -n '/任意关键词*关键词/'p 文件名

[root@hostname sed]# sed -n '/r*t/'p test.txt

 

4. 匹配 关键词+关键词(ot组合)；sed -nr 作用于 +加号 ：

sed -nr '/关键词+关键词/'p 文件名

[root@hostname sed]# sed -nr '/o+t/'p test.txt

 

5. 匹配 关键词任意次(n次) ：

sed -nr '/关键词{匹配次数}/'p 文件名

[root@hostname sed]# sed -nr '/o{2}/'p test.txt

 

6. 匹配 关键词1或者匹配关键词2或者匹配关键词3 ：

sed -nr '/关键词1|关键词2|关键词3/'p 文件名

[root@hostname sed]# sed -nr '/root|hao|sbin/'p test.txt

 

打印指定行：

7. 打印 指定行：

sed -nr '指定行'p 文件名

[root@hostname sed]# sed -nr '2'p test.txt

 

8. 打印 指定范围行：

sed -nr '指定范围行'p 文件名

[root@hostname sed]# sed -nr '2,5'p test.txt

 

9. 打印指定行到末行($)：

sed -nr '指定行,$'p 文件名

[root@hostname sed]# sed -nr '2,$'p test.txt

 

10. 打印全部行(第一行到末行)：

sed -nr '1,$'p 文件名

[root@hostname sed]# sed -nr '1,$'p test.txt

11. 打印指定行,还可以匹配包含关键词1的行和匹配包含关键词2的行 ：

sed -e '指定行'p -e '/匹配关键词1/'p -e '/匹配关键词2/'p -n 文件名

[root@hostname sed]# sed -e '1'p -e '/111/'p -e '/hao/'p -n test.txt

 

9.5 sed(下)

1. 匹配 含有关键词(root)行,但不区分大小写：

sed -n '/关键词/'Ip 文件名

[root@hostname sed]# sed -n '/root/'Ip test.txt

 

2. 不匹配 指定的范围行,其余行打印到屏幕(只限于生效在屏幕) ：

sed '范围行'd test.txt

[root@hostname sed]#sed '1,10'd test.txt

 

3. 删除 文件中指定的范围行(生效在文件)：

sed -i '范围行'd test.txt

[root@hostname sed]# sed -i '1,10'd test.txt

查看文件行数：wc -l 文件名

[root@hostname sed]# wc -l test.txt

 

4. 删除 文件中含有关键词的行(生效在文件)：

sed -i '/关键词/'d 文件名

[root@hostname sed]# sed -i '/hao/'d test.txt

 

5. 查找指定行，并全局替换 打印到屏幕：

sed '指定范围行s/关键词/替换关键词/g' test.txt

[root@hostname sed]# sed '1,10s/hao/root/g' test.txt

 

head 默认是输出文件内容的前十行！！！

6. 查找指定范围行,并用正则表达式+号进行了全局替换  后面可以用管道符 ：

[root@hostname sed]# sed -r '1,10s/ro+/r/g' test.txt |head

7. 把前面命令的输出结果, 管道符丢给sed命令，以冒号分隔为一段,每行的第一段和最后一段相互替换：

[root@hostname sed]# head test.txt |sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:1/'

 

8. head 输出文件前十行，sed 查找关键词1 替换 关键词2 ：

(默认命令用法中分隔符/，可以用@或#代替都OK啦)

把关键词：/sbin/nologin  替换成 123 ,因为被替换关键词有/斜杠,就用@为命令分隔符了

[root@hostname sed]# head test.txt |sed 's@/sbin/nologin@123@g'

 

9. 前十行替换, 字母范围为空 ：

head 文件名 |sed 's/[小写大写字母范围]//g'

[root@hostname sed]# head test.txt |sed 's/[a-zA-Z]//g'

 

10. 所有行行首，添加固定的字符串：

head 文件名 |sed -r 's/(.*)/添加的字符串:&/'

[root@hostname sed]# head test.txt |sed -r 's/(.*)/hhh:&/'

 

9.6 awk(上)

1. 创建awk目录做测试：

[root@hostname ~]# mkdir awk

2. 进入awk目录下：

[root@hostname ~]# cd awk

3. 拷贝/etc/passwd到当前目录并重命名为test.txt ：

[root@hostname ~]# cp /etc/passwd test.txt

1. 打印 所有段($0)所有内容：

awk  '{print 所有段}' 文件名

[root@hostname awk]# awk  '{print $0}' test.txt

2. 打印 以:(冒号)为分隔符, 每行第一段($1)：

awk -F '冒号分割符' '{print 第一段}' 文件名

[root@hostname awk]# awk -F ':' '{print $1}' test.txt

3. 打印 以:(冒号)为分隔符, 每行指定段(多个段)：

awk -F '冒号分割符' '{print 第一段,第二段,第三段}' 文件名

[root@hostname awk]# awk -F ':' '{print $1,$2,$3}' test.txt

4. 打印 以:(冒号)为分隔符, 每行指定段(多个段)，打印内容用#号隔开：

awk -F ':' '{print 第一段"井号"第二段"井号"第三段}' 文件名

[root@hostname awk]# awk -F ':' '{print $1"#"$2"#"$3}' test.txt

 

5. 打印 匹配包含oo的行：

awk '/匹配关键词/' 文件名

[root@hostname awk]# awk '/oo/' test.txt

 

6. 匹配出 以:(冒号)为分隔符, 第一段中包含oo的行：

awk -F '冒号分隔符' '指定段 ~ /匹配关键词/' 文件名

[root@hostname awk]# awk -F ':' '$1 ~ /oo/' test.txt

 

7. 匹配出 以:(冒号)为分隔符,第一段中包含oo+的行(支持正则表达式)：

awk -F '冒号分隔符' '$1 ~ /匹配关键词+/' 文件名

[root@hostname awk]# awk -F ':' '$1 ~ /oo+/' test.txt

 

8. 匹配出 包含root的行,并打印出此行第一段和第四段；

                 包含user的行,并打印出此行第二段和第三段 ：

awk -F '冒号分隔符' '/匹配关键词/{print 指定段,指定段} /匹配关键词/ {print 指定段,指定段}' 文件名

[root@hostname awk]# awk -F ':' '/root/{print $1,$4} /user/ {print $2,$3}' test.txt

匹配数字 :数字不加双引号！！！（字符串非数字需要双引号）

>=100     大于等于100

<=100     小于等于100

 =100      等于100

!=100       不等于100

9. 以:(冒号)为分隔符,匹配出第三段大于等于1000的行并打印出第一段

( 需求是匹配数字，数字不要用双引号！)

awk -F '指定分隔符' '指定段>=匹配数字 {print 指定打印段}' 文件名

[root@hostname awk]# awk -F ':' '$3>=1000 {print $1}' test.txt

10. 以:(冒号)为分隔符,匹配出第三段小于等于1000的行并打印出全部段

awk -F '指定分隔符' '指定段<=匹配数字 {print 指定打印段}' 文件名

[root@hostname awk]# awk -F ':' '$3<=1000 {print $0}' test.txt

 

11. 以:(冒号)为分隔符,匹配出第一段不等于关键词hao的行并打印出全部段

( 匹配是非数字的字符串，要用双引号引起来！ !=  表示不等于)

awk -F '指定分隔符' '指定段!="匹配的字符串"{print 指定打印段}' 文件名

[root@hostname awk]# awk -F ':' '$1!="hao"{print $0}' test.txt

9.7 awk(下)

1. 以:(冒号)为分隔符,筛选出第三段数字值小于第四段数字值的行：

（注意  "这里的"数值"不代表数字组合）

awk -F '指定分隔符'  '第三段数值<第四段数值'  文件名

[root@hostname awk]# awk -F ':'  '$3<$4'  test.txt

 

2. 以:(冒号)为分隔符,筛选出第三段数值等于第四段数值的行：

（注意  "这里的"数值"不代表数字组合）

awk -F '指定分隔符'  '第三段数值==第四段数值'  文件名

[root@hostname awk]# awk -F ':'  '$3==$4' test.txt

 

3. 以:(冒号)为分隔符,筛选出第三段数值大于5  &&(并且)小于7 ：

（注意  "这里的"数值"不代表数字组合）

awk -F ':'  '第三段数值>"5" && 第三段数值<"7"' 文件名

[root@hostname awk]# awk -F ':'  '$3>"5" && $3<"7"' test.txt

 

4. 以:(冒号)为分隔符,筛选出第三段数字大于1000 ||(或者) 第七段数字大于等于/sbin/nologin ：

awk -F '指定分隔符' '第三段>指定数字 || 第七段=="指定字符串"' 文件名

[root@hostname awk]# awk -F ':' '$3>1000 || $7=="/sbin/nologin"' test.txt

5. 以:(冒号)为分隔符,筛选出第三段数字大于1000 ||(或者) 第七段匹配关键词nologin的行

awk -F ':' '第三段>指定数字 || 第七段 ~ /匹配关键词/' 文件名

[root@hostname awk]# awk -F ':' '$3>1000 || $7 ~ /nologin/' test.txt

6. 以:(冒号)为分隔符,筛选出第三段数字大于1000 ||(或者)第七段匹配关键词nologin的行打印出第一段，第三段，第七段以#号隔开！

awk -F '指定分隔符' '{OFS="指定打印分隔符"} 第三段>指定数字 || 第7段 ~ /匹配关键词/ {print 打印第一段,打印第三段,打印第七段}' 文件名

[root@hostname awk]# awk -F ':' '{OFS="#"} $3>1000 || $7 ~ /nologin/ {print $1,$3,$7}' test.txt

7. 以:(冒号)为分隔符,筛选出第三段数字大于1000的行第一段,第二段,第三段,第四段以#号隔开！

[root@hostname awk]# awk -F ':' '{OFS="#"} {if ($3>1000) {print $1,$2,$3,$4}}' test.txt

8. 打印显示行号：

[root@hostname awk]# awk -F ':' '{print NR":"$0}' test.txt

9. 以:(冒号)为分隔符,匹配出每行共有多少行段 ：

[root@hostname awk]# awk -F ':' '{print NF":"$0}' test.txt

10. 打印出1到10行：

[root@hostname awk]# awk -F ':' 'NR<10' test.txt

11. 以:(冒号)为分隔符,筛选前10行&&(并且)第一段含有root或者sync关键词的行：awk -F ':' 'NR<10 && 第一段 ~ /匹配关键词|匹配关键词/' 文件名

[root@hostname awk]# awk -F ':' 'NR<10 && $1 ~ /root|sync/' test.txt

12. 以:(冒号)为分隔符,匹配前六行 &&(并且)第一段含有root或者sync关键词的行：awk -F ':' 'NF==6 && 第一段 ~ /匹配关键词|匹配关键词/' test.txt

[root@hostname awk]# awk -F ':' 'NF==6 && $1 ~ /root|sync/' test.txt

13. 前三行输出结果，awk执行,以冒号分割符号，复值了每行第一段都是root，并把打印出的结果以冒号隔开

[root@hostname awk]# head -n 3 test.txt |awk -F ':' '{OFS=":"} $1="root"'

 

14. 打印行段 不用冒号分割，默认是空格隔开每段：

[root@hostname awk]# head -n 3 test.txt |awk -F ':' '$1="root"'15. 以:(冒号)为分隔符,设想hao等同于全部行第三段值的总和 ：

[root@hostname awk]# awk -F ':' '{(hao=hao+$3)}; END {print hao}' test.txt