awk从基础到高级之解析

最新推荐文章于 2020-06-23 15:14:04 发布

weixin_34279061

最新推荐文章于 2020-06-23 15:14:04 发布

阅读量155

点赞数

文章标签： awk 网络 php

原文链接：http://blog.51cto.com/90sec/1543949

版权

awk简介

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

基本语法

awk [option]... 'script' FILE...

awk [option]... '/PATTERN/{action}' FILE...

awk 'BEGIN{FS=":"}{print $1,$7}' FILE...

选项描述

-F FS #指定描述一行中的数据字段的文件分隔符

-f awk_script #指定读取程序的文件名，可指定载入脚本

-v VAR_VALUE #定义awk程序中使用的变量和默认值

输出动作介绍

1、print

print的使用格式：print item1， item2, ...

要点：

（1）、各项目之间使用逗号隔开，而输出时则以空白字符分隔；

（2）、输出的item可以为字符串或数值、当前记录的字段(如$1)、变量或awk的表达式；数值会先转换为字符串，而后再输出；

（3）、print命令后面的item可以省略，此时其功能相当于print $0, 因此，如果想输出空白行，则需要使用print""；

2、printf

printf命令的使用格式：printf format, item1, item2,...

要点：

（1）、其与print命令的最大不同是，printf需要指定format；

（2）、format用于指定后面的每个item的输出格式；

（3）、printf语句不会自动打印换行符；\n

其中format格式的指示符都以%开头，后跟一个字符；如下：

%c: 显示字符的ASCII码；

%d, %i：十进制整数；

%e, %E：科学计数法显示数值；

%f: 显示浮点数；

%g, %G: 以科学计数法的格式或浮点数的格式显示数值；

%s: 显示字符串；

%u: 无符号整数；

%%: 显示%自身；

在输出格式上常用修饰符：

N: 显示宽度；

-: 左对齐（默认为右对齐）；

+：显示数值符号；

awk内置变量

FS：Field Seperator, 输入时的字段分隔符

# awk 'BEGIN{FS=":"}{print $1,$7}' /etc/passwd

RS：Record Seperator, 输出行分隔符

OFS: Output Field Seperator, 输出时的字段分隔符;

ORS: Outpput Row Seperator, 输出时的行分隔符；

NF：Numbers of Field，字段数

NR：Numbers of Record, 行数；所有文件的一并计数；

FNR：行数；各文件分别计数；

ARGV：数组，保存命令本身这个字符，

awk '{print $0}' 1.txt 2.txt，意味着ARGV[0]保存awk,

ARGC: 保存awk命令中参数的个数；

FILENAME： awk正在处理的当前文件的名称

awk输出重定向

print items > output-file

print items >> output-file

print items | command

特殊文件描述符：

/dev/stdin: 标准输入

/dev/stdout: 标准输出

/dev/stderr: 错误输出

awk的操作符

x-y x减y

x*y x乘y

x/y x除y

-y 负y(y的开关符号);也称一目减

++y y加1后使用y(前置加）

y++ 使用y值后加1（后缀加）

--y y减1后使用y(前置减）

y-- 使用后y减1(后缀减）

x=y 将y的值赋给x

x+=y 将x+y的值赋给x

x-=y 将x-y的值赋给x

x*=y 将x*y的值赋给x

x/=y 将x/y的值赋给x

x%=y 将x%y的值赋给x

x^=y 将x^y的值赋给x

x**=y 将x**y的值赋给x

awk允许的测试

操作符含义

x==y x等于y

x!=y x不等于y

x>y x大于y

x>=y x大于或等于y

x<y x小于y

x<=y x小于或等于y?

x~re x匹配正则表达式re?

x!~re x不匹配正则表达式re?

awk的操作符(按优先级升序排列)

= 、+=、 -=、 *= 、/= 、 %=

> >= < <= == != ~ !~

xy (字符串连结，'x'y'变成"xy"）

+ -

* / %

模式

(1) Regexp: 格式为/PATTERN/

仅处理被/PATTERN/匹配到的行；

(2) Expression: 表达式，其结果为非0或非空字符串时满足条件；

仅处理满足条件的行；

(3) Ranges: 行范围，此前地址定界，startline, endline

仅处理范围内的行

(4) BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；

(5) Empty:空模式，匹配任意行

控制语句

if-else

格式：if (condition) {then body} else {else body}

# awk -F: '{if ($3>=500) {print $1,"is a common user"} else {print $1, "is an admin or system user"}}' /etc/passwd

# awk '{if (NF>=8) {print}}' /etc/inittab

while

格式：while (condition) {while body}

# awk '{i=1; while (i<=NF){printf "%s ",$i;i+=2};print ""}' /etc/inittab

# awk '{i=1; while (i<=NF){if (length($i)>=6) {print $i}; i++}}' /etc/inittab

length()函数：取字符串的长度

do-while循环

格式：do {do-while body} while (condition)

for循环

格式：for (variable assignment; condition; iteration process) {for body}

# awk '{for (i=1;i<=NF;i+=2){printf "%s ",$i};print ""}' /etc/inittab

# awk '{for (i=1;i<=NF;i++){if (length($i)>=6) print $i}}' /etc/inittab

for循环可用来遍历数组元素：

语法：for (i in array) {for body}

case语句

语法：switch (expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

循环控制

break

continue

提前结束对本行的处理进而进入下一行的处理；

# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd

# awk -F: '{if(NR%2==0) next; print NR,$1}' /etc/passwd

数组

关联数组：

array[index-expression]

index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式；

A[first]="hello awk"

print A[second]

要遍历数组中的每一个元素，需要使用如下特殊结构

for (var in array) {for body}

其var会遍历array的索引

state[LISTEN]++

state[ESTABLISHED]++

# netstat -tan | awk '/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}'

# awk '{ip[$1]++}END{for (i in ip) {print i,ip[i]}}' /var/log/httpd/access_log

删除数组元素

delete array[index]

# awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test

split
split函数可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割

split( string, array, field separator )

split( string, array )

# netstat -tn | awk '/^tcp/{lens=split($5,client,":");ip[client[lens-1]]++}END{for (i in ip) print i,ip[i]}'长

常用例子

转载互联网

1.查看TCP连接状态

netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -rn

netstat -n | awk ‘/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}’ 或

netstat -n | awk ‘/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}’

netstat -n | awk ‘/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"t",arr[k]}’

netstat -n |awk ‘/^tcp/ {print $NF}’|sort|uniq -c|sort -rn

netstat -ant | awk ‘{print $NF}’ | grep -v ‘[a-z]‘ | sort | uniq -c

2.查找请求数请20个IP（常用于查找攻来源）：

netstat -anlp|grep 80|grep tcp|awk ‘{print $5}’|awk -F: ‘{print $1}’|sort|uniq -c|sort -nr|head -n20

netstat -ant |awk ‘/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}’ |sort -rn|head -n20

3.用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." ‘{print $1"."$2"."$3"."$4}’ | sort | uniq -c | sort -nr |head -20

4.查找较多time_wait连接

netstat -n|grep TIME_WAIT|awk ‘{print $5}’|sort|uniq -c|sort -rn|head -n20

5.找查较多的SYN连接

netstat -an | grep SYN | awk ‘{print $5}’ | awk -F: ‘{print $1}’ | sort | uniq -c | sort -nr | more

6.根据端口列进程

netstat -ntlp | grep 80 | awk ‘{print $7}’ | cut -d/ -f1

网站日志分析篇1（Apache）：

1.获得访问前10位的ip地址

cat access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10

cat access.log|awk ‘{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}’

2.访问次数最多的文件或页面,取前20

cat access.log|awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20

3.列出传输最大的几个exe文件（分析下载站的时候常用）

cat access.log |awk ‘($7~/.exe/){print $10 " " $1 " " $4 " " $7}’|sort -nr|head -20

4.列出输出大于200000byte(约200kb)的exe文件以及对应文件发生次数

cat access.log |awk ‘($10 > 200000 && $7~/.exe/){print $7}’|sort -n|uniq -c|sort -nr|head -100

5.如果日志最后一列记录的是页面文件传输时间，则有列出到客户端最耗时的页面

cat access.log |awk ‘($7~/.php/){print $NF " " $1 " " $4 " " $7}’|sort -nr|head -100

6.列出最最耗时的页面(超过60秒的)的以及对应页面发生次数

cat access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100

7.列出传输时间超过 30 秒的文件

cat access.log |awk ‘($NF > 30){print $7}’|sort -n|uniq -c|sort -nr|head -20

8.统计网站流量（G)

cat access.log |awk ‘{sum+=$10} END {print sum/1024/1024/1024}’

9.统计404的连接

awk ‘($9 ~/404/)’ access.log | awk ‘{print $9,$7}’ | sort

10. 统计http status

cat access.log |awk ‘{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'

cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

转载于:https://blog.51cto.com/90sec/1543949

weixin_34279061

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
awk从基础到高级之解析

awk简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。...
复制链接

扫一扫