目录
引言:
awawkk是shell文本编辑的一把利剑
1.1概述
AWK是一种处理文本文件的语言,是一个强大的文本分析工具
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描,过滤,统计汇总工作
数据可以来自标准输入也可以是管道或文件
20世纪70世纪诞生于贝尔实验室,现在CentOS用的是gawk
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
1.2工作原理
逐行读取文本,默认以空格或Tab键为分隔符进行分割,将分割所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较,倾向于将一行分成多个"“字段"然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符” &&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算,如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。
当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出
如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次
1.3 命令格式
awk选项’模式或条件{操作}'文件1文件2 …
awk -f 脚本文件 文件1 文件2 …
格式:awk关键字 选项 命令部分 ‘{xxxx}’ 文件名
awk 包含几个特殊的内建变量(可直接用)如下所示:
变量 | 说明 |
---|---|
FS | 指定每行文本的字段分隔符,默认为空格或制表单位 |
NF | 当前处理的行的字段个数 |
NR | 当前处理的行的行号(序号) |
$0 | 当前处理的行的整行内容 |
$n | 当前处理行的第n个字段(第n列) |
FILENAME | 被处理的文件名 |
RS∶ 行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
1.4awk常用小命令
#删除temp文件的重复行
awk '!($0 in array) { array[$0]; print }' temp
#查看最长使用的10个unix命令
awk '{print $1}' ~/.bash_history | sort | uniq -c | sort -rn | head -n 10
#查看机器的ip列表
ifconfig -a | awk '/Bcast/{print $2}' | cut -c 5-19
#查看机器的每个远程链接机器的连接数
netstat -antu | awk '$5 ~ /[0-9]:/{split($5, a, ":"); ips[a[1]]++} END {for (ip in ips) print ips[ip], ip | "sort -k1 -nr"}'
#查看某个进程打开的socket数量
ps aux | grep [process] | awk '{print $2}' | xargs -I % ls /proc/%/fd | wc -l
#查看无线网络的ip
sudo ifconfig wlan0 | grep inet | awk 'NR==1 {print $2}' | cut -c 6-
#批量重命名文件
find . -name '*.jpg' | awk 'BEGIN{ a=0 }{ printf "mv %s name%01d.jpg\n", $0, a++ }' | bash
#查看某个用户打开的文件句柄列表
for x in `ps -u 500 u | grep java | awk '{ print $2 }'`;do ls /proc/$x/fd|wc -l;done
#计算文件temp的第一列的值的和
awk '{s+=$1}END{print s}' temp
#查看最常用的命令和使用次数
history | awk '{if ($2 == "sudo&#