Linux常用命令：awk

awk - pattern scanning and processing language
文本以行为单位进行处理，对于日志处理非常有用，然后配合其他命令可以做一些统计的工作。

awk根据空格或者制表符将一行分割成若干字段，$1、$2、$3等依次表示后面的各个字段，$0表示整行内容。

假如有nginx的日志文件 access.log 如下：

118.24.167.225 - - [28/Jul/2019:12:37:35 +0800] "GET /wp-content/plugins/portable-phpmyadmin/wp-pma-mod/index.php HTTP/1.1" 404 27 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0" "-"
118.24.167.225 - - [28/Jul/2019:12:37:37 +0800] "GET /manager/html HTTP/1.1" 404 27 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)" "-"
61.219.11.153 - - [28/Jul/2019:13:12:57 +0800] "GET / HTTP/1.1" 400 173 "-" "-" "-"

需要获取所有访问的ip列表
awk '{print $1}' access.log

结果如下：

118.24.167.225
118.24.167.225
61.219.11.153

如果你的内容不是以空格和制表符作为分割符，则可以通过-F参数指定分隔符
如你需要看/etc/passwd的所有用户信息

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

命令如下
awk -F ':' '{print $1}' /etc/passwd

root
bin
daemon
adm

输出最后一个字段
awk '{print $NF}' access.log
NF变量代表每行的字段数，还有其他有用的一些变量

FILENAME：当前文件名
FS：字段分隔符，默认是空格和制表符。
RS：行分隔符，用于分割每一行，默认是换行符。
OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
OFMT：数字输出的格式，默认为％.6g。

输出只包含某个IP的行
awk '/39.71.61.171/ {print $0;}' access.log

if语句
awk -F ':' '{if ($1 > "m") print $1}' /etc/passwd

http://www.ruanyifeng.com/blog/2018/11/awk.html
https://likegeeks.com/awk-command/
https://gregable.com/2010/09/why-you-should-know-just-little-awk.html