awk的认识与使用【shell第五天】

核心：文本过滤
          查看/过滤文件
与sed一样，逐行处理


awk ：过滤数据时支持仅打印某一列；若有多条编辑指令，可用分号分隔。
         【print 是最常用的编辑指令】

格式：
awk [选项] '[条件] {指令}' 文件


例：
         实验文本：
[root@server0 ~]# cat tmp.txt 
hello wolrd
ni hao
wo shi

          查看文本第一列：
[root@server0 ~]# awk '{print $1}' tmp.txt   
hello
ni
wo

       查看多列：
[root@server0 ~]# awk '{print $1,$2}' tmp.txt 
hello wolrd
ni hao
wo shi

      实用：【可管道给其他命令】

         查看可用容量：
[root@server0 ~]# df -h | awk '{print $4}'
可用
7.1G
906M
921M
904M
921M

二)选项的使用：

-F ：可指定分隔符
-F[:/] ：可识别多种单个字符【可指定】

例：【-F】
           查看/etc/passswd的第一列【以冒号为分隔符】
[root@server0 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
...


            【-F[:/]】
[root@server0 ~]# awk -F[:/] '{print $1,$7}' /etc/passwd
root root
bin bin
daemon sbin
adm var
lp var
sync sbin
shutdown sbin
...

三)可与变量和常量结合使用

常见变量：
NR 文件当前行的行号
NF 文件当前行的列数（有几列）

例：
【NR】
[root@server0 ~]# awk -F:  '{print NR}' tmp.txt 
1
2
3

【NF】
[root@server0 ~]# awk -F: '{print NF}' tmp.txt
1
1
1

           常量的使用【需加双引号】
例：
[root@server0 ~]# awk -F: '{print $1,"的解释器为",$7}' /etc/passwd
root 的解释器为 /bin/bash
bin 的解释器为 /sbin/nologin
daemon 的解释器为 /sbin/nologin
adm 的解释器为 /sbin/nologin
...

四）与正则的使用：

[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi

       【查看包含ni的行的第2列】
[root@server0 ~]# awk /ni/'{print $2}' tmp.txt 
hao

       【查看远程登陆失败的ip】
[root@server0 ~]# awk /Failed/'{print $11}' /var/log/secure
172.25.0.10
172.25.0.10

五）awk处理时机

 格式：

awk [选项] 'BEGIN{指令} {指令}END{指令}' 文件

    BEGIN{ } 行前处理，读取文件内容前执行，指令执行1次
    { } 逐行处理，读取文件过程中执行，指令执行n次
    END{ } 行后处理，读取文件结束后执行，指令执行1次

          【先为x赋值为0，然后进行++最后输出x】
[root@desktop0 ~]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
2
[root@desktop0 ~]# awk '/bash$/{x++}END{print x}' /etc/passwd  【默认0开始】
4

           【按顺序列出用户名,uid,家目录，总和】

[root@desktop0 ~]# awk -F: 'BEGIN{print "yong" "UID" "jia" "zong" } {print $1,$3,$6}END{print "zong"NR }' /etc/passwd |column -t

column -t  【自动对齐】

六）awk处理条件

1.使用正则设置条件 【模糊匹配】
       /正则/     在一整行里匹配
       $n~/正则/    $1~/正则/  $2~/正则/ 【第一列包括和第二列包括。。。】
       $n!~/正则/  取反
[root@desktop0 ~]# awk -F:  '$7!~/nologin$/' /etc/passwd




2.字符和数字的比较
==  ！=  >  >= <  <=  【精准匹配】

       【打印出第1行的第一列】
awk  -F: 'NR==1{print $1}' /etc/passwd  

       【打印UID大于等于1000的第1和第3列】
[root@desktop0 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd  
nfsnobody 65534
student 1000
jiajia 1001

         【精确查找第一列是root的行】
[root@desktop0 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash

          【300中能被3整除的数】
[root@desktop0 ~]# seq 300 | awk '$3%==0'

          【300中能被3整除并包含3的数】
[root@desktop0 ~]# seq 300 | awk '$1%3==0&&$1~/3/'


3.逻辑测试条件：
&& 和 ||

            【打印UID大于10小于20的行】
[root@desktop0 ~]# awk  -F:  '$3>10&&$3<20' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

             【打印UID等于10的行若没有则打印UID等于1000的行】
[root@desktop0 ~]# awk -F: '$3==10||$3==1000' /etc/passwd
student:x:1000:1000:Student User:/home/student:/bin/bash

4.单双分支
       awk [选项] '[条件]{指令}' 文件
if语句
if(判断){指令}
if(判断){指令}else{指令}

单分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}} END{print x}' /etc/passwd

双分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}else{y++}} END{print x,y}' /etc/passwd
3 38

5.数组:一个可以存储多个值的变量

[root@desktop0 ~]# x=(11 22 33)
[root@desktop0 ~]# y[0]=11
[root@desktop0 ~]# y[1]=22
[root@desktop0 ~]# y[2]=33
[root@desktop0 ~]# echo ${x}
11
[root@desktop0 ~]# echo ${x[1]}
22

[root@desktop0 ~]# echo ${y}
11

  awk 数组：

[root@desktop0 ~]# awk 'BEGIN{x[0]=11;x[2]=22;print x[2],x[0]}'
22 11

        【当数组多时，利用for循环读出】
[root@desktop0 ~]# awk 'BEGIN{x[0]=12;x[1]=35;x[2]=45;x[3]=456;for(i in x){print x[i]}}'
12
35
45
456


扩展：常见的低成本攻击
【DOS攻击 deny of service】
ab -c 100 -n 100000 http://172.25.0.10/
模拟有100人上网，访问网站10w次

应对方法：

         【查看异常：列出IP的访问次数】
[root@desktop0 ~]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' /var/log/httpd/access_log  | sort -n
10 ::1
26141 172.25.0.250

sort -n 排序