这几天在写数据库脚本,需要频繁的处理字符文件,笔者之前都是用java程序处理字符文件,结果看到同事用awk几秒钟就搞定了一个处理,觉得太牛逼了,于是花时间学习了下。
[color=red]本文旨在帮助awk新手快速熟悉awk的常见用法,笔者会尽量把文章写得像清纯的女神一样撩起你的兴趣,不过最终还得你[size=large]花力气自己撸[/size]。[/color]
首先,我们使用netstat的输出作为源文件:
我们发现netstat.txt中的信息太乱了,我们仅仅需要首列是tcp的行,当然第二行的标签也需要保留:
netstat1.txt文件还算干净,我们需要第六列匹配"LISTEN"的行,并格式化输出(awk的格式化输出和C语言相同):
对于netstat2.txt文件,仅仅需要它的第1,4,6列,并格式化输出(awk的格式化输出和C语言相同):
对于netstat3,.txt,不需要Local列的端口号:
把netstat4.txt按照第3列的内容拆分成多个文件:
下面进行一些补充:
对于文件test.txt
使用分隔符获取第一列,并指定输出分隔符
对于test.txt,写一个awk脚本来处理它:
结果如下:
怎么样,爽了吗!
[color=red]本文旨在帮助awk新手快速熟悉awk的常见用法,笔者会尽量把文章写得像清纯的女神一样撩起你的兴趣,不过最终还得你[size=large]花力气自己撸[/size]。[/color]
首先,我们使用netstat的输出作为源文件:
netstat -ano >> netstat.txt
我们发现netstat.txt中的信息太乱了,我们仅仅需要首列是tcp的行,当然第二行的标签也需要保留:
cat netstat.txt | awk '$1=="tcp" || NR==2 {print $0}' >> netstat1.txt
netstat1.txt文件还算干净,我们需要第六列匹配"LISTEN"的行,并格式化输出(awk的格式化输出和C语言相同):
cat netstat1.txt | awk '$6 ~ /LISTEN/ || NR==1 {print $0}' >> netstat2.txt
对于netstat2.txt文件,仅仅需要它的第1,4,6列,并格式化输出(awk的格式化输出和C语言相同):
cat netstat2.txt | awk '{printf "%5s %20s %10s\n",$1,$4,$6}' >> netstat3.txt
对于netstat3,.txt,不需要Local列的端口号:
cat netstat3.txt | awk '{print $1,$3,$2}' | awk -F ':' '{print $1}' >> netstat4.txt
把netstat4.txt按照第3列的内容拆分成多个文件:
cat netstat4.txt | awk '{print > $3}'
下面进行一些补充:
~表示匹配模式
!~表示不匹配模式
/***/中夹着的是模式内容
$0 整行内容
$1~$n 当前行的第n个字段,字段间由FS分隔
FS 输入字段分隔符 默认是空格或Tab
NF 当前记录中的列的数量
NR 行号,从1开始,如果有多个文件话,这个值也是不断累加中。
FNR 行号,从1开始,与NR不同的是,这个值会是各个文件自己的行号
RS 输入的记录分隔符, 默认为换行符
OFS 输出字段分隔符, 默认也是空格
ORS 输出的记录分隔符,默认为换行符
FILENAME 当前输入文件的名字
对于文件test.txt
Marry,2143,78,84,77
Jack,2321,66,78,45
Tom,2122,48,77,71
Mike,2537,87,97,95
Bob,2415,40,57,62
使用分隔符获取第一列,并指定输出分隔符
cat test.txt | awk -F ',' '{print $1,$2}' OFS='----' >> test1.txt
对于test.txt,写一个awk脚本来处理它:
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
结果如下:
$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL
---------------------------------------------
Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159
---------------------------------------------
TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.00
怎么样,爽了吗!