linux文本处理命令 awk',Linux文本处理三剑客：grep/sed/awk

grep：文本搜索

grep命令介绍

grep，用来查找文件中匹配指定文本的行并打印出来

语法格式： grep [选项] PATTERN 文件名

命令解释：查找指定文件中包含PATTERN的行

常用选项

-r：递归查找指定目录下的所有文件(grep命令默认支持多个文件的查找，但不能在目录中查找，如果需要在目录中进行查找，则需要使用 -r选项指定)。可以使用--exclude排除某些文件，使用--exclude-file排除某些目录

grep -r hello .

grep hello test01.txt test02.txt

-c：只打印匹配的行数，不显示内容

grep -c Hello test01.txt

-i：忽略大小写进行匹配

grep -i hello test01.txt

-v：反向匹配，打印不匹配的内容

grep -v hello test01.txt

-l：打印包含匹配项的文件名

grep -l zip dirlist*.txt

-L：打印不包含匹配项的文件名

grep -L zip dirlist*.txt

-n：在每个匹配行之前打印出其位于文件中的相应行号

grep -n zip dirlist*.txt

-E：使用正则表达式进行匹配

echo "BBB" | grep -E 'AAA|BBB'

sed：流编辑器

sed命令介绍

sed(stream editor，流处理器)： 对文本流进行编辑。在临时缓冲区中创建副本文件，只修改副本不修改源文件(可以使用-i直接修改源文件)，逐行处理文件，处理临时缓冲区中的行。

sed命令格式

sed [-hnV] [-e] [-f

常用动作

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～

sed -e "1athis is a other line add by sed command" test01.txt

i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

sed -e '1ithis is a other line add by sed command' test01.txt

d ：删除

# 打印test02.txt前四行

sed -e '5,$d' test02.txt

s ：替换

sed -e 's/line/hello,sed./g' test01.txt

sed -e '5s/line/line 5/1' -e '5s/line/hello,sed./2' test01.txt

-n与p配合使用(-n，关闭默认打印，p 打印匹配的行)

sed -n '5s/line/hello, sed/1p' test01.txt

实例：catalina.out提取某个时间段的日志，输出到指定文件中

# sed -n '/起始时间/,/结束时间/p' 日志文件 > 输出文件

sed -n '/2020-08-01 10:00*/,/2020-08-01 11:00*/p' catalina.out > aaa.txt

awk：文本分析

awk命令介绍

awk：通常用来进行文本分析

awk用法

awk '{[pattern] action}' {filenames}

awk -F #-F相当于内置变量FS, 指定分割字符

awk -v # 设置变量

awk -f {awk脚本} {文件名}

常用动作

示例文件 data.dat如下：

1,aaa,aaa@163.com,1995-04-05,12000

2,bbb,bbb@163.com,1996-08-15,10000

3,ccc,ccc@163.com,1998-06-07,8888

4,ddd,ddd@163.com,1994-05-04,14400

5,eee,eee@163.com,1996-03-23,7200

6,fff,fff@163.com,1995-02-21,16000

7,ggg,ggg@163.com,1997-11-12,18888

打印文件 print

awk '{print $0}' data.dat

指定分隔符，打印第2列与第3列

[root@localhost cmd]# awk -F , '{print $2,$3}' data.dat

aaa aaa@163.com

bbb bbb@163.com

ccc ccc@163.com

ddd ddd@163.com

eee eee@163.com

fff fff@163.com

ggg ggg@163.com

设置变量并使用(会修改源文件)

[root@localhost cmd]# awk -F ',' -va=1000 '{print $2, $5+a}' data.dat

aaa 13000

bbb 11000

ccc 9888

ddd 15400

eee 8200

fff 17000

ggg 19888

实现累加

# 计算所有薪资

[root@localhost cmd]# awk -F ',' '{sum+=$5}END{print sum}' data.dat

87376

# 计算薪资大于15000的薪资总和

[root@localhost cmd]# awk -F ',' '$5>15000 {sum+=$5}END{print sum}' data.dat

34888

行号

# 打印薪资大于12000的员工行号、姓名和薪资

[root@localhost cmd]# awk -F ',' '$5>12000 {print NR,$2,$5}' data.dat

4 ddd 14400

6 fff 16000

7 ggg 18888

# 统计薪资大于12000的员工总数量

[root@localhost cmd]# awk -F ',' '$5>12000' data.dat | wc -l

3

参考资料