grep 、sed、awk三剑客应用

一、定义

grep 、sed、awk被称为linux中的"三剑客"。
功能特点:
grep适合查找功能
sed适合取行和替换
awk适合取分隔后的列
下面对这3个命令进行一个实践，另附加正则表达式。

二、grep

1、grep查看文件中是否包含有指定的字段并打印出来，常用来查询日志、端口等

#查看文件中中含有8080字段的行
grep 8080 file 
确定8080字段在文件中的行数
grep -n 8080 file
#确定redis在文件中的行数并且忽略大小写
grep -n -i "redis"  file 
#匹配当前目录下所有后缀为conf文件含有过滤字段的内容
grep 'redis' *.conf 

2、过滤掉指定的日志信息（即含有关键字的行不显示）

grep -v '关键字' file

3、查看日志中的含有关键字error，打印行

 grep redis_6379.log -e error

4、grep只能按分钟和秒进行查询日志

#查询34分到35分的日志内容
grep '11 May 2020 10:3[4-5]' redis_6379.log

注：在此按小时会报错，可用sed命令，下面有介绍
5、查询端口、服务信息

#查询统计6379端口的连接数
netstat -nat|grep -i "6379"|wc -l

#查询redis服务的端口、pid信息
ps -ef |grep redis

三、sed

用于编辑匹配到的文本
1、取消#，去掉注释

sed -i -e '/name/s/^#//' /root/autoredis.sh
#等价于sed -i  's/^#name/name/'  /root/autoredis.sh

2、增加注释

sed -i 's/^name/#&/' /root/autoredis.sh
## 这条命令是替换以name开头的 ，&的意思是匹配任意字符 

3、利用 sed 将文件中的world用happy替换

sed -i 's/\world/\happy\g' rest

#将每一行结尾若为 . 则换成 !
sed -i 's/\.$/\!/g' rest

4、同时执行两条命令

#同时去掉name、info前面的注释
sed -i -e '/name/s/^#//' \-e '/info/s/^#//' /root/autoredis.sh

5、一次性多行注释

sed -i '2,5s/^/#/' filename 
#vi输入中同样适用

6、取消多行注释

sed -i '2,5s/^#//' filename

7、 根据日期查询日志

sed -n '/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p'  test.log

注意：其中日期由系统日志中的具体格式决定
8、利用 sed 直接在 文件最后一行加入 #This is a test:

sed -i '$a # This is a test' file

9、使用sed -n查询，并且输出至aa.log文件
sed -n ‘/Mar 15 19:01:01/,/Mar 15 23:01:01/p’ cron >aa.log
注意 开始时间、结束时间一定要和linux里面的显示时间保持格式一致，且一定要是日志里面有的时间点，否则查询不出来或者查询结果不符合预期。
（起始时间不是的话，查询无结果。结束时间不是的话，查询至日志的最后结束时间）

四、awk

对分隔后的行中的列进行处理，也可进行格式化输出

awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file

1、去掉以#开头的行，再重定向到aaa.log中

awk -F: '($1 !~ /^#/){print $0}' outredis.conf >aaa.log

具体可以参考：https://blog.csdn.net/Junetest/article/details/106047999

五、正则表达式

正则表达式，又称规则表达式。通常被用来检索、替换那些符合某个模式(规则)的文本。