linux awk命令使用摘要

awk命令

awk是一种非常好的数据处理工具，linux帮助文档中将其解释为——基于pattern中的定义，对文件进行扫描和处理的语言。

完整命令形式：awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

[-F|-f|-v]  -F指定分隔符，-f调用脚本，-v定义变量 var=value
''          引用代码块
BEGIN       初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//          匹配代码块，可以是字符串或正则表达式
{}          命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END         结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

常用命令：

1.awk '{print $1}' /etc/passwd，其中 ’ ’ 表示引用代码块，{} 中包含代码块。

2.awk -F ":" '{print $1}' /etc/passwd，其中 -F 指定分隔符，分隔符默认是空格。

3.awk -F ":" '{print "Username:"$1,"Uid:"$3}' /etc/passwd，进行格式处理。

4.awk -F ":" '$1=="mysql" {print}' /etc/passwd，条件表达式，此处可以省略print命令。

其他要点：

$0           表示整个当前行
$1           每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS       输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||             逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'   定义三个分隔符

以下是一个例子，通过ssh远程搜索所有目标服务器上的日志文件，进行处理并在本地输出：
for i in 172.22.2.{19..30}; do ssh root@$i "/bin/grep "user is locked" 日志文件名 -B1 " |grep "CLIENT_Login failed" |awk '{print $9}' |awk -F "--" '{print $1}'|grep -v Name|sort |uniq ;done |sort |uniq

此时增加一个例子（2019/10/31）
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
说明：对本机所有socket链接的状态进行统计