linux awk入门,awk入门应用

最新推荐文章于 2021-05-14 16:10:49 发布

刘霏霏

最新推荐文章于 2021-05-14 16:10:49 发布

阅读量87

点赞数

文章标签： linux awk入门

awk概述

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的，在linux系统中已把awk链接到gawk，所以下面全部以awk进行介绍。

使用语法

awk [ -F Ere ] [ -v Assignment ] … { -f ProgramFile | 'Program' } [ [ File … | Assignment … ] ] …

常用命令选项

-F fs or --field-separator fs

指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。

-v var=value or --asign var=value

赋值一个用户定义变量。

-f scripfile or --file scriptfile

从脚本文件中读取awk命令。

相关控制语句及示例

if(condition) statements

找出系统上UID大于等于1000的用户，并将用户输出形式类似于“Conmon user： gwx”

awk -F: '{if ($3>=1000) printf "Common user: %s\n",$1}' /etc/passwd

找出系统上默认shell为/bin/bash的用户，并输出该用户的用户名

awk -F: '{if ($NF == "/bin/bash")print $1}' /etc/passwd

找出系统上默认shell为bash的用户，并输出该用户的用户名

awk -F: '{if ($NF~"bash$")print $1}' /etc/passwd

输出当前系统上fstab挂载的设备情况

awk '{if ($1!="#")print $0}' /etc/fstab

输出当前系统使用比例超过80%的分区

df -h |awk -F% '/\/dev/{print $1}'|awk '{if ($NF>80)print $1}'

if(condition){statements} else {statements}

找出系统上UID大于等于1000的用户，并将用户输出形式类似于“Conmon user： gwx”，其余用户输出形式类似于“Sysuser：php”

awk -F: '{if ($3>=1000) {printf "Common user: %s\n",$1} else {printf "Sysuser: %s\n",$1}}' /etc/passwd

while (condition){statements}

输出当前系统/etc/grub2.cfg文件中以linux16开头的行的字符数大于等于7个的字段，并在字段的后面显示该字段的字符数

awk '/^[[:space:]]*linux16/{i=1;while (i<=NF){if (length($i)>=7){print $i,length($i)};i++}}' /etc/grub2.cfg

for(expr1;expr2;expr3){statements}

输出当前系统/etc/grub2.cfg文件中以linux16开头的行字段，并在字段的后面显示该字段的字符数

awk '/^[[:space:]]*linux16/{for (i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg

相关扩展针对与使用awk统计网站访问相关

日志字段定义样例如下,如果日志文件做了轮替设置，请查看对应要统计的日志文件做统计分析

10.6.9.15 – – [12/Nov/2016:16:24:15 +0800] "GET / HTTP/1.1" 200 258 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36"

统计访问频次最高的5个ip

cat /var/log/httpd/access_log |awk '{print $1}'|sort|uniq -c|sort -nr|head -5

统计恶意ip

cat /var/log/httpd/access_log|awk '{if($9~/40/){print $1}}'|sort|uniq|sort -nr

找出访问最多的文件(下载类网站常用,这里以.exe扩展名举例)

cat /var/log/httpd/access_log|awk '($7 ~/.exe/){print $10 "" $1 "" $4""$7}' |sort -n |uniq -c |sort -nr |head -10

统计该网站的流量,统计结果以“G“”显示

cat /var/log/httpd/access_log|awk '{sum+=$10} END {print sum/1024/1024/1024"G"}'

查看日志中出现100次以上的IP

cat /var/log/httpd/access_log-20161113|cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'

查看某一IP在网站内都访问了哪些资源

cat /var/log/httpd/access_log-20161113| grep 10.6.9.15| awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less

原创文章，作者：N24-wenxuan，如若转载，请注明出处：http://www.178linux.com/62423

刘霏霏

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
linux awk入门,awk入门应用

awk概述awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。...
复制链接

扫一扫