awk的使用
一、awk的作用
1.用来从文本中截取字符串
2.用来匹配过滤文本，起到grep的作用
二、awk里面的分隔符
1、输入分隔符：
-F
-FS=":"
FS（input field separater）
2、输出分隔符：
定义OFS=“#”
OFS（output field separater）
awk -F: 'OFS="#"{print $1,$3,$4}' /etc/passwd
三、.vimrc文件的作用
vim在启动的时候，会读取这个文件里的配置，进行加载。这个文件里面存放的是vim的命令也就是说，在vim启动的时候传递参数，告诉vim应该首先执行哪些命令
四、awk的操作处理图
五、awk的完整语法及工作原理
1、完整语法
awk -F: 'BEGIN{print "###start@@@@"} $3>500&&$3<2000{print $1,$3} END{print "###end####"}' /etc/passwd
###start@@@@
polkitd 999
chrony 998
nginx 997
mahaoliang 1000
daifurong 1001
chenyulin 1002
xieshan 1003
bashzhang 1004
bashzhang1 1005
liu1 1006
zhangliu1 1007
liu 1008
liu2 1009
wujiaxi 1010 fengdeyong
###end####
2、工作原理
2.1、模式匹配
精准匹配：必须一模一样，不能多也不能少
[root@lamp-test logs]# awk -F: '$1 == "feng1" && $3>1009 {print $1,$7,$3}' /etc/passwd
feng1 /bin/bash 1012
[root@lamp-test logs]#
模糊匹配： 包含，可以多不能少
[root@lamp-test logs]# awk -F: '$1 ~ /[0-9]$/ && $3>1009 {print $1,$7,$3}' /etc/passwd
2.2、常用的内置变量
NR number of record 行号
NF number of field 字段数
$NF -->最后一个字段
$(NF-1) --> 倒数第2个字段
3、awk命令操作符
六、查看内存使用的命令：free
[root@xiaoliu lianxi]# free -m
total used free shared buff/cache available
Mem: 1790 191 804 8 793 1447
Swap: 2047 0 2047
[root@xiaoliu lianxi]# free -h
total used free shared buff/cache available
Mem: 1.7Gi 191Mi 798Mi 8.0Mi 800Mi 1.4Gi
Swap: 2.0Gi 0B 2.0Gi
1、选项：
-m 以M为单位显示内存的使用情况
-h 以人类能够读懂的格式显示
2、信息：
total 是总的物理内存（内存条的大小）
used 使用了多少内存
free 剩余多少内存
shared 共享内存消耗的空间 --》进程和进程之间通信
buff/cache
buff：data from memory to disk
cache：data from disk to memory
available：可用的内存空间
一个新的进程它可以使用的内存空间==free + buff/cache
3、释放缓存：echo 3 >/proc/sys/vm/drop_caches
/proc：是内核文件系统，内核是一个软件，控制操作系统的硬件，管理cpu，内存，磁盘，网卡等硬件
/proc文件系统，也是消耗内存的空间
[root@xiaoliu lianxi]# free -h
total used free shared buff/cache available
Mem: 1.7Gi 192Mi 63Mi 8.0Mi 1.5Gi 1.4Gi
Swap: 2.0Gi 0B 2.0Gi
[root@xiaoliu lianxi]# echo 3 >/proc/sys/vm/drop_caches #告诉内核取释放缓存空间
[root@xiaoliu lianxi]# free -h
total used free shared buff/cache available
Mem: 1.7Gi 182Mi 1.5Gi 8.0Mi 110Mi 1.4Gi
Swap: 2.0Gi 0B 2.0Gi
4、查看什么时候使用交换分区
# 默认是当物理内存使用了70%的时候，就开始使用交换分区
[root@xiaoliu lianxi]# cat /proc/sys/vm/swappiness
30
内核参数优化，提升进程使用的效率，告诉系统尽可能的多使用物理内存，物理内存速度快
[root@xiaoliu lianxi]# echo 0 >/proc/sys/vm/swappiness
[root@xiaoliu lianxi]# cat /proc/sys/vm/swappiness
0
[root@xiaoliu lianxi]# echo 10 >/proc/sys/vm/swappiness
[root@xiaoliu lianxi]# cat /proc/sys/vm/swappiness
10
5、内核参数配置文件
系统开机启动的时候，内核对读取这个配置文件，进行相关参数的设置/etc/sysctl.conf
七、压缩连续的字符串：tr
将连续的空格压缩成一个空格
tr -s “ ”
八、小练习熟悉awk的使用
1.只显示df -h结果的第一列文件系统
df -Th|awk '{print $1}'
2.显示passwd文件的第5行和第10行的行号和用户名
awk -F: 'NR==5||NR==10{print NR,$1}' /etc/passwd
3.使用NF变量显示passwd文件倒数第二列的内容
awk -F: '{print $(NF-1)}' /etc/passwd
4.显示passwd文件中第5到第10行的用户名
awk -F: 'NR>=5&&NR<=10{print $1}' /etc/passwd
5.显示passwd文件中第7列不是bash的用户名
awk -F: '$7 !~/bash/{print $1}' /etc/passwd
6.显示passwd文件中行号是5结尾的行号和整行内容
awk -F: 'NR ~/5/{print NR,$0}' /etc/passwd
7.用ifconfig/ip add 只显示ip
yum install net-tools -y -->安装ifconfig命令的软件
ifconfig|awk 'NR==2 {print $2}'
8.ifconfig 命令后使用awk显示ens33的入站流量和出站流量(字节)
ifconfig |awk 'NR==5||NR==7 {print $1,$5}
9.统计/etc/passwd文件里以r开头的用户的数量，并且显示出用户名
awk -F: '$1 ~/^r/{print $1}' /etc/passwd
10.显示每隔2秒的流量的变化
watch -n 2 -d "ifconfig|awk 'NR==5{print $5}'"
九、awk使用shell变量
[root@xiaoliu lianxi]# mn=mengmeng
[root@xiaoliu lianxi]# awk -F: "\$1 ~/$mn/{print \$0}" /etc/passwd
shimengmeng:x:1009:1009::/home/shimengmeng:/bin/bash
mengmeng:x:1073:1073::/home/mengmeng:/bin/bash
mengmeng1:x:1074:1074::/home/mengmeng1:/bin/bash
十、awk中的字段求和
[root@xiaoliu lianxi]# awk 'NR>1{sum+=$3}END{print sum}' gread.txt 480
[root@xiaoliu lianxi]# awk 'BEGIN{num=0}NR>1{sum+=$3}END{print sum}' gread.txt
480
十一、awk里面的内置函数（lentgh，substr）
1、统计没有设置密码的用户的数量，同时输出用户名
awk -F: 'length($2)<=2 {print $1;sum++}END{print sum}' /etc/shadow
2、统计没有设置密码的用户的数量，同时输出用户名前2个字符
awk -F: 'length($2)<=2 {print substr($1,1,2);sum++}END{print sum}' /etc/shadow
十二、awk里面的流程控制if分支
[root@localhost lianxi]# cat /etc/passwd|awk -F: '{if (length($1)==3) print $0}'
bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
liu:x:1008:1008::/home/liu:/bin/bash
[root@localhost lianxi]#
[root@localhost lianxi]# cat /etc/passwd|awk -F: '{if (length($1)==3) print $0 ; else print $1}'
练习1：
用户的类型：
uid==0 超级用户
uid在1~999 系统用户
uid>=1000 普通用户
# 方法一、
awk -F: '{if($3 == 0)print $1"超级用户";else if($3>=1 && $3<=999) print $1"系统用户";else if($3>=1000) print $1"普.通用户"}' /etc/passwd
# 方法二、
[root@localhost lianxi]# awk -F: '{if($3==0) print $1"是超级用户";else if($3>1&&$3<=999) print $1"是系统用户";else print $1"是普通用户"}' /etc/passwd
练习2：
3个变量： 统计3种类型的用户， 统计用户类型的个数
用户的类型：
uid==0 超级用户
uid在1~999 系统用户
uid>=1000 普通用户
awk -F: '{if($3 == 0){print $1"超级用户";num1++;} else if($3>=1 && $3<=999){print $1"系统用户";num2++;} else if($3>=1000){print $1"普通用户";num3++}}END{print "超级用户的数量:"num1,"系统用户的数量:"num2,"普通用户的数量:"num3}' /etc/passwd
注：if语句后面执行多个命令的时候，使用{}括起来，最后的命令接；结尾，外面的else if和else前面不需要接;了
十三、awk里面的for循环格式
for (i=0;i<10;i++) {print $i;}
for (i in array) {print array[i]}
十四、awk里面的数组
统计每个省份总共得到了多少票数
[root@xiaoliu lianxi]# cat vote.txt
山东 aa 2
河南 bb 3
江西 cc 3
湖南 aa 40
山东 bb 10
江西 dd 6
河南 cc 3
湖南 cc 3
awk '{vote[$1]+=$3}END{for (i in vote) print i,vote[i]}' vote.txt |sort -k 2 -n
河南 6
江西 9
山东 12
湖南 43
十五、awk里的综合练习
练习1：
对nginx的日志文件access.log进行分析，分析出单个ip地址累计下载获取的文件大小的总数（对每次访问数据的大小进行求和），显示下载总数最大的前100个ip地址和下载文件大小，按照下载文件大小的降序排列，显示格式如下：
175.8.134.239 3456
172.105.77.209 78956
…
61.147.15.67 112345678
#答案：
awk '{access[$1]+=$10}END{for (i in access) print i,access[i]}' access.log |sort -k 2 -nr|head -100
练习二：
以下是nginx日志的字段含义
$time_iso8601|$host|$http_cf_connecting_ip|$request|$status|$body_bytes_sent|$http_referer|$http_user_agent
-------------------------------------
2019-04-25T09:51:58+08:00|a.google.com|47.52.197.27|GET /v2/depth?symbol=aaa HTTP/1.1|200|24|-|apple
2019-04-25T09:52:58+08:00|b.google.com|47.75.159.123|GET /v2/depth?symbol=bbb HTTP/1.1|200|407|-|python-requests/2.20.0
2019-04-25T09:53:58+08:00|c.google.com|13.125.219.4|GET /v2/ticker?timestamp=1556157118&symbol=ccc HTTP/1.1|200|162|-|chrome
2019-04-25T09:54:58+08:00|d.shuzibi.co|-||HEAD /justfor.txt HTTP/1.0|200|0|-|-
2019-04-25T09:55:58+08:00|e.google.com|13.251.98.2|GET /v2/order_detail?apiKey=ddd HTTP/1.1|200|231|-|python-requests/2.18.4
2019-04-25T09:56:58+08:00|f.google.com|210.3.168.106|GET /v2/trade_detail?apiKey=eee HTTP/1.1|200|24|-|-
2019-04-25T09:57:58+08:00|g.google.com|47.75.115.217|GET /v2/depth?symbol=fff HTTP/1.1|200|397|-|python-requests/2.18.4
2019-04-25T09:58:58+08:00|h.google.com|47.75.58.56|GET /v2/depth?symbol=ggg HTTP/1.1|200|404|-|safari
2019-04-25T09:59:58+08:00|i.google.com|188.40.137.175|GET /v2/trade_detail?symbol=hhh HTTP/1.1|200|6644|-|-sfdf
2019-04-25T10:01:58+08:00|j.google.com|2600:3c01:0:0:f03c:91ff:fe60:49b8|GET /v2/myposition?apiKey=jjj HTTP/1.1|200|110|-|scan
2.1、计算每分钟的带宽（body_bytes_sent）
#答案
[root@xiaoliu lianxi]# awk -F"|" '{width[substr($1,1,16)]+=$6}END{for (i in width) print i,width[i]}' width.txt |sort -n
2019-04-25T09:51 24
2019-04-25T09:52 407
2019-04-25T09:53 162
2019-04-25T09:54 200
2019-04-25T09:55 231
2019-04-25T09:56 24
2019-04-25T09:57 397
2019-04-25T09:58 404
2019-04-25T09:59 6644
2019-04-25T10:01 110
2.2、统计每个URI（即不带问号?前面的内容）的每分钟的频率/v2/myposition?apiKey=jjj 中的/v2/myposition
#答案
[root@xiaoliu lianxi]# awk -F"[|?]" '{frequn[substr($1,1,16)substr($4,5,16)]+=1}END{for (i in frequn) print i,frequn[i]}' width.txt |sort -n
2019-04-25T09:51/v2/depth 1
2019-04-25T09:52/v2/depth 1
2019-04-25T09:53/v2/ticker 1
2019-04-25T09:54 1
2019-04-25T09:55/v2/order_detail 1
2019-04-25T09:56/v2/trade_detail 1
2019-04-25T09:57/v2/depth 1
2019-04-25T09:58/v2/depth 1
2019-04-25T09:59/v2/trade_detail 1
2019-04-25T10:01/v2/myposition 1
3260
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
