awk 练习笔记

最新推荐文章于 2024-06-12 16:36:13 发布
最新推荐文章于 2024-06-12 16:36:13 发布
阅读量95 收藏
点赞数
文章标签： awk java
原文链接：https://yq.aliyun.com/articles/561076
版权

#awk 练习笔记

#参考：http://man.linuxde.net/awk

#awk格式


1
awk  'BEGIN{ print "start" } pattern{ commands } END{ print "end" }'  file


一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。

任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中


●第一步：执行BEGIN{ commands }语句块中的语句；

●第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。 

●第三步：当读至输入流末尾时，执行END{ commands }语句块。 

    BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。 

    END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。 

    pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。



1
2
3
4
5
[root@node3 ~] # echo -e "A line 1\nA line 2" | awk 'BEGIN{print "Start"} {print } END{print "End"}'
Start
A line 1
A line 2
End


1
2
3
4
[root@node3 ~] # echo -e "line1 f2 f3\nline2 f4 f5 f6\nline3 f7"  | awk '{print "Line No."NR", No of fields:"NF,"$0="$0}'
Line No.1, No of fields:3 $0=line1 f2 f3
Line No.2, No of fields:4 $0=line2 f4 f5 f6
Line No.3, No of fields:2 $0=line3 f7


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@node3 ~] # echo -e "f1 f2\nf3 f4 f5\nf6"
f1 f2
f3 f4 f5
f6
[root@node3 ~] # echo -e "f1 f2\nf3 f4 f5\nf6" |awk '{print $(NF)}'
f2
f5
f6
[root@node3 ~] # echo -e "f1 f2\nf3 f4 f5\nf6" |awk '{print $(NF-1)}'
f1
f4
f6
 
统计行数
[root@node3 ~] # wc -l /etc/passwd
28  /etc/passwd
[root@node3 ~] # awk 'END{print NR}' /etc/passwd
28


运算符

图片内容来自：http://man.linuxde.net/awk

wKiom1ktgP_wlJb7AAASgm1Rb4o846.png

wKioL1ktgP_xqYFJAAAn8oIHJo0452.png

注：求余为 %

1
2
3
4
5
6
7
8
9
10
[root@node3 ~] # awk 'BEGIN{a=3;b=5;print a+b;}'
8
[root@node3 ~] # awk 'BEGIN{a=3;b=5;print a*b;}'
15
[root@node3 ~] # awk 'BEGIN{a=3;b=5;print a^b;}'
243
[root@node3 ~] # awk 'BEGIN{a=3;b=5;a++;b--;print a,b;}'
4 4
[root@node3 ~] # awk 'BEGIN{a=3;b=5;print b%a}'
2


wKiom1ktgQHhWFZhAAATTvQ5FVE267.png

wKioL1ktgQCRZlCXAAAVFp4TsPc300.png

1
2
3
4
[root@node3 ~] # cat -n /etc/passwd | awk 'NR>=3 && NR<=5{print}'
      3  daemon:x:2:2:daemon: /sbin : /sbin/nologin
      4  adm:x:3:4:adm: /var/adm : /sbin/nologin
      5  lp:x:4:7:lp: /var/spool/lpd : /sbin/nologin


wKioL1ktgQCyn3v9AAATbgZMgCQ325.png

1
2
3
[root@node3 ~] # cat /etc/passwd |awk '{if($0 ~ /root/){print}}'
root:x:0:0:root: /root : /bin/bash
operator:x:11:0:operator: /root : /sbin/nologin


wKiom1ktgQGAzjGuAAAiWCpbLg8874.png

1
2
3
4
[root@node3 ~] # awk 'BEGIN{a=1; b=2; c=b<a?a:b; print c}'
2
[root@node3 ~] # echo "A B C D" |awk '{print $1"~"$2"~"$3"~"$4}'
A~B~C~D


wKiom1ktgHeRHdfsAAAnDP83UQs802.png


#next用法 ：跳过当前行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@node3 ~] # cat test.txt 
web01[192.168.2.100] 
httpd ok tomcat ok
sendmail ok
web02[192.168.2.101] 
httpd ok
postfix ok 
web03[192.168.2.102] 
mysqld ok 
httpd ok
[root@node3 ~] # cat test.txt | awk '{if($0 ~ /[\]]/){T=$0;next;}{print T":"$0}}'
web01[192.168.2.100] :httpd ok tomcat ok
web01[192.168.2.100] :sendmail ok
web02[192.168.2.101] :httpd ok
web02[192.168.2.101] :postfix ok 
web03[192.168.2.102] :mysqld ok 
web03[192.168.2.102] :httpd ok
[root@node3 ~] #


#getline简单用法 ：调用系统命令

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@node3 ~] # mkdir test
[root@node3 ~] # cd test/
[root@node3  test ] # touch {1..5}.txt
[root@node3  test ] # ls
1.txt  2.txt  3.txt  4.txt  5.txt
[root@node3  test ] # awk 'BEGIN{while("ls -l" | getline L){ print L;}}'
total 0
-rw-r--r-- 1 root root 0 May 30 23:07 1.txt
-rw-r--r-- 1 root root 0 May 30 23:07 2.txt
-rw-r--r-- 1 root root 0 May 30 23:07 3.txt
-rw-r--r-- 1 root root 0 May 30 23:07 4.txt
-rw-r--r-- 1 root root 0 May 30 23:07 5.txt
[root@node3  test ] #


#指定界定符

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@node3  test ] # head -4 /etc/passwd
root:x:0:0:root: /root : /bin/bash
bin:x:1:1:bin: /bin : /sbin/nologin
daemon:x:2:2:daemon: /sbin : /sbin/nologin
adm:x:3:4:adm: /var/adm : /sbin/nologin
[root@node3  test ] # awk -F':' 'NR<5{print $1,$2,$3}' /etc/passwd 
root x 0
bin x 1
daemon x 2
adm x 3
[root@node3  test ] # awk 'BEGIN{FS=":"} NR<5{print $1,$2,$3}' /etc/passwd
root x 0
bin x 1
daemon x 2
adm x 3



#流程控制语句

#条件判断语句

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@node3  test ] # awk '{if(NR<5){print }}' /etc/passwd
root:x:0:0:root: /root : /bin/bash
bin:x:1:1:bin: /bin : /sbin/nologin
daemon:x:2:2:daemon: /sbin : /sbin/nologin
adm:x:3:4:adm: /var/adm : /sbin/nologin
[root@node3  test ] # head -10 /etc/passwd | awk '{if(NR<5){print }else if(NR>6){print}else{print "-------------"}}' 
root:x:0:0:root: /root : /bin/bash
bin:x:1:1:bin: /bin : /sbin/nologin
daemon:x:2:2:daemon: /sbin : /sbin/nologin
adm:x:3:4:adm: /var/adm : /sbin/nologin
-------------
-------------
shutdown :x:6:0: shutdown : /sbin : /sbin/shutdown
halt:x:7:0:halt: /sbin : /sbin/halt
mail:x:8:12:mail: /var/spool/mail : /sbin/nologin
operator:x:11:0:operator: /root : /sbin/nologin
[root@node3  test ] #


#循环语句

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node3  test ] # awk 'BEGIN{i=0; sum=0; while(i<=100){ sum+=i; i++;} print sum;}'
5050
[root@node3  test ] # awk 'BEGIN{sum=0;for(i=0;i<=100;i++){sum+=i;} print sum;}'
5050
[root@node3  test ] # date
Tue May 30 23:24:32 CST 2017
[root@node3  test ] # awk 'BEGIN{"date" | getline t;split(t,T);for(i in T){print i,T[i];}}'         #无序
4 23:25:50
5 CST
6 2017
1 Tue
2 May
3 30
[root@node3  test ] # awk 'BEGIN{"date" | getline t;split(t,T);for(i=1;i<=length(T);i++){print i,T[i];}}'  #有序
1 Tue
2 May
3 30
4 23:26:28
5 CST
6 2017



#数组

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
[root@node3 ~] # awk 'BEGIN{S="this is a test.";split(S,A," ");for(i=1;i<=length(A);i++){print i,A[i];}}'
1 this
2 is
3 a
4  test .
[root@node3 ~] # awk 'BEGIN{S="this is a test.";split(S,A," ");for(i in A){print i,A[i];}}'
4  test .
1 this
2 is
3 a
[root@node3 ~] # awk 'BEGIN{A["a"]=1;A["b"]=2;A["C"]=3;for(i in A)print i,A[i]}'
C 3
a 1
b 2
[root@node3 ~] # awk 'BEGIN{A["a"]=1;A["b"]=2;A["C"]=3;if("2" in A){print "OK"}else{print "No"}}'
No
[root@node3 ~] # awk 'BEGIN{A["a"]=1;A["b"]="2";A["C"]=3;if("2" in  A){print "OK"}else{print "No"}}'
No
#判断是否在键值是否存在
[root@node3 ~] # awk 'BEGIN{A["a"]=1;A["b"]="2";A["C"]=3;if("b" in  A){print "OK"}else{print "No"}}'
OK
[root@node3 ~] # awk 'BEGIN{A["a"]=1;A["b"]=2;A["C"]=3;if("b" in  A){print "OK"}else{print "No"}}'
OK
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;if("b" in  A){print "OK"}else{print "No"}}'
OK
#判断是否在键值是否存在
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;if("a" in  A){print "OK"}else{print "No"}}'
No
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;if("a" in  A){print "OK"}else{print A[a]}}'
1
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;if(a in  A){print "OK"}else{print A[a]}}'
OK 
#删除键值
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;delete A[a];if(a in  A){print "OK"}else{print "No"}}'
No
[root@node3 ~] # awk 'BEGIN{A[a]=1;A["b"]=2;A["C"]=3;delete A["a"];if(a in  A){print "OK"}else{print "No"}}'
OK


#内置函数

wKioL1kyfT7D-E8hAACin6lnsf4611.png


wKiom1kyfdHBfwVPAAF6RhMbF6o618.png

wKioL1kyfdLSo6K8AAFi_Zv56A0693.png

wKioL1kyfdOCe8FTAAH8MePnI9A019.png

wKiom1kyfdTTXYGUAABmMlDil8c617.png



#函数练习

题目链接：http://oldboy.blog.51cto.com/2561410/1636008

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
原始数据：
[root@node3 ~] # cat a.txt
17 /Apr/2015 :09:29:24 +0800
17 /Apr/2015 :09:30:26 +0800
17 /Apr/2015 :09:31:56 +0800
18 /Apr/2015 :09:34:12 +0800
18 /Apr/2015 :09:35:23 +0800
19 /Apr/2015 :09:23:34 +0800
19 /Apr/2015 :09:22:21 +0800
20 /Apr/2015 :09:45:22 +0800
期望结果：
2015-04-17 09:29:24+0800
2015-04-17 09:30:26+0800
2015-04-17 09:31:56+0800
2015-04-18 09:34:12+0800
2015-04-18 09:35:23+0800
2015-04-19 09:23:34+0800
2015-04-19 09:22:21+0800
2015-04-20 09:45:22+0800
[root@node3 ~] # awk -F'[ /:]' '{gsub("Apr","4");print $3"-"$2"-"$1,$4":"$5":"$6$7;}' a.txt 
2015-4-17 09:29:24+0800
2015-4-17 09:30:26+0800
2015-4-17 09:31:56+0800
2015-4-18 09:34:12+0800
2015-4-18 09:35:23+0800
2015-4-19 09:23:34+0800
2015-4-19 09:22:21+0800
2015-4-20 09:45:22+0800
[root@node3 ~] #



#题目链接：http://oldboy.blog.51cto.com/2561410/1725148


要求去掉一个最高分，去掉一个最低分，最后求平均分，在排序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@node3 ~] # cat a.txt 
冯泉    100     100     96      95      100     96      100     97
万永振  100     95      90      88      95      98      95      98
徐亮偉  100     100     90      98      90      98      100     96
曹雅楠  100     100     95      90      97      90      95      98
陈派宇  90      95      95      96      100     98      100     96
李峰    90      90      90      85      92      95      95      98
余连辉  90      93      95      92      95      95      96      95
侯亚光  90      96      97      90      90      85      95      90
王续    85      92      98      98      90      95
蔚雷    92      92      96      90      90      80
苏浩智  88      96      85      95      90      90
徐登辉  85      95      88      90      90      90
林章益  91      97      98      90      100     90
黄品清  85      97      88      90      90      90
李健    85      95      90      88      80      80
宫全乐  88      95      90      88      90      100
万良    89      95      95      88      100     100
马自强  88      97      90      88      90      90
任冠亚  88      97      98      90      100     100
[root@node3 ~] #
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node3 ~] # awk -F'[ \t]+' '{max=$2;min=$2;avg=0;sum=0;for(i=2;i<=NF;i++){if($i>max){max=$i;}if($i<min){min=$i;} sum+=$i;}avg=(sum-max-min)/(NF-3);array["$1"]=avg; print $1"\tMAX="max"\tMIN="min"\tAVG="avg}' a.txt  |sort -rk4 |nl -w 2
  1 冯泉  MAX=100 MIN=95  AVG=98.1667
  2 徐亮偉 MAX=100 MIN=90  AVG=97
  3 陈派宇 MAX=100 MIN=90  AVG=96.6667
  4 任冠亚 MAX=100 MIN=88  AVG=96.25
  5 曹雅楠 MAX=100 MIN=90  AVG=95.8333
  6 万永振 MAX=100 MIN=88  AVG=95.1667
  7 万良  MAX=100 MIN=88  AVG=94.75
  8 余连辉 MAX=96  MIN=90  AVG=94.1667
  9 林章益 MAX=100 MIN=90  AVG=94
10  王续  MAX=98  MIN=85  AVG=93.75
11  李峰  MAX=98  MIN=85  AVG=92
12  侯亚光 MAX=97  MIN=85  AVG=91.8333
13  蔚雷  MAX=96  MIN=80  AVG=91
14  苏浩智 MAX=96  MIN=85  AVG=90.75
15  宫全乐 MAX=100 MIN=88  AVG=90.75
16  黄品清 MAX=97  MIN=85  AVG=89.5
17  马自强 MAX=97  MIN=88  AVG=89.5
18  徐登辉 MAX=95  MIN=85  AVG=89.5
19  李健  MAX=95  MIN=80  AVG=85.75









本文转自 chaunceyjiang  51CTO博客，原文链接：http://blog.51cto.com/cqwujiang/1931963，如需转载请自行联系原作者
weixin_34344677
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Awk 个人笔记.docx
07-07
awk学习笔记
一、awk命令练习题（持续更新）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
01-03 5365
文章目录一、awk命令练习题 一、awk命令练习题 1、只显示/etc/passwd的账户 2、只显示/etc/passwd的账户和对应的shell，而账户与shell之间以制表符分割，并在第一行上添加列名lee制表符/bin/bash，最后一行添加chen制表符/sbin/nologin 3、搜索/etc/passwd有关键字root的所有行 4、统计/etc/passwd文件中，每行的行号，每列的列数，对应的完整行内容以制表符分隔 5、输出/etc/passwd文件中以nol
awk命令学习与练习--20个例子
babahai的博客
07-08 2699
awk理论知识   awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，默认以空格为分隔符将每行切片，切开的部分再进行各种分析处理。 awk是行处理器,相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息。    参数：      -F ：指定分隔符      -f ： 调用脚本      -v ：定义变量      Begin{}：初始化代码块，在对每一行
awk案例练习
middlecorn的博客
08-08 237
RS指定输入记录换行符，当RS=""时，即输入换行符为\n，它指示AWK将连续的非空行组合成一个记录，这时就分为了三行，每一段一行，NR==2，代表第二行也就是第二段，$6代表第二行的以空格为间隔的第6个字段，也就是ip地址。当字段第一次出现时，arr[$0]=0，++后为1，当出现第二次时，arr[$0]=1,++后为2，所以当第n次出现时，arr[$0]=n。为输入字段分隔符，arr[$2]即arr[uid=xxx]，当字段第一次出现时，arr[$2]为0，++后为1，触发if条件，输出$0；
awk实战练习题
Super_Rookie_Boy的博客
01-18 659
1.将test2文件中的行追加到test1的同一行后，并保存到文件 #test1 haha hehe alice bob #test2 20 25 18 30 #test3 haha:20 hehe:25 alice:18 bob:30 ~ 命令： awk 'BEGIN{OFS=":"}NR==FNR{a[NR]=$1}NR!=FNR{print a[FNR],$1>>"test3"}' test1 test2 2.某产品的CDN带宽运营成本迅猛增涨,其带宽主要由各种类
linux awk学习笔记
01-11
此为linux中awk语句的详细使用教程。
Awk学习笔记
05-31
1. awk简介 2. awk命令格式和选项 2.1. awk的语法有两种形式 2.2. 命令选项 3. 模式和操作 3.1. 模式 3.2. 操作 4. awk的环境变量 5. awk运算符 6. 记录和域 6.1. 记录 6.2. 域 6.3. 域分隔符 7. gawk专用...
awk学习笔记.pdf
06-18
关于AWK的简单笔记类教程，内容非本人缩写，所以不要分，我下载的是DOC版，顺手做成了PDF版，有书签
awk练习
qq_42130112的博客
04-26 454
awk练习 [root@yang test]# cat grade.txt M.Tansley 05/99 48311 Green 8 40 44 J.Lulu 06/99 48317 green 9 24 26 P.Bunny 02/99 48 Yellow 12 35 28 J.Troll 07/99 4842 Brown-3 12 26 26 L.Tansley 05/99 4712 Br...
grep,sed,awk命令实例大练习
06-09
grep,sed,awk命令实例大练习，好东西大家分享
awk－sed高级练习题pdf
11-10
里面的题由浅入深，能全掌握对于一般应用还是很有帮助的。有答案
[shell练习]——awk练习题
weixin_30872867的博客
07-21 414
1. sed和awk有什么区别？ (1)awk：按列(域)操作；sed：按行操作(2)awk：文本处理语言，适合对文本进行抽取处理；sed：非交互式的编辑器，适合对文本进行编辑2. awk要处理域的时候，以哪个参数作为分割参数？ -F 3. 请打印出/etc/passwd 第一个域，并且在第一个域所有的内容前面加上“用户帐号：”# cat /etc/passwd |awk -F: '...
awk 练习笔记
weixin_34096182的博客
06-03 88
#awk 练习笔记#参考：http://man.linuxde.net/awk#awk格式awk'BEGIN{print"start"}pattern{commands}END{print"end"}'file一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本...
awk练习1
zhangshaohuas的博客
10-29 163
#获取访问日志中每个ip的访问次数 cat /var/log/httpd/access_log |awk '{print $1}'|sort |uniq -c|awk '{printf "ip地址:%s 访问次数：%d\n",$2,$1}' #打印出访问次数前5的ip地址和访问次数 cat /var/log/httpd/access_log |awk '{print $1}'|sort |uniq -c|sort |head -n5 #提取访问次数超过20次的页面 cat /var/log/httpd
awk 自学练习
私人天地
03-08 492
vim a.txt Red Hat Enterprise Linux Version 5.3 Get the latest news about the world's Open Source Leader Red Hat Network Manage your system dffectively through Red Hat Network Global Learning Services...
Linux的shell脚本grep、sed、awk练习和diff、patch、cut、sort介绍
weixin_33744141的博客
11-16 139
一.grep文本过滤器 1.格式grep [options][filname] 2.常用参数选项: i 不区分大 小写(只适用于单字符) E可用扩展正则表达式 egrep F固定字符串匹配fgrep A显示匹配行的后多少行 B显示匹配行的前多少行 C显示匹配行的前后各多少行 n显示匹配行及 行号 v显示不包含匹配文本的所有行反向选择 q:...
简单的awk基础练习题
ANLJF的专栏
11-27 3182
今天闲来没事，做了几道简单的awk基础练习题，跟大家分享一下 文件 file.txt的内容格式： 文件中包含名字，电话号码和过去三个月里的捐款 具体内容如下： Mike Harrington:[510] 548-1278:250:100:175 Christian Dobbins:[408] 538-2358:155:90:201 Susan Dalsass:[206] 654-6
AWK练习题
小新没有蜡笔
09-06 2545
关于AWK的几个练习题
shell文本三剑客 awk 和 grep
最新发布
2401_83330816的博客
06-12 499
grep主要用于过滤文本，sed用于修改文本，而awk则擅长处理和格式化文本。
awk sed grep 练习题
06-28
1. 使用awk命令，将一个文件中的第一列和第二列相加，并输出结果。 2. 使用sed命令，将一个文件中的所有空行删除，并输出结果。 3. 使用grep命令，查找一个文件中包含特定字符串的行，并输出结果。 4. 使用awk...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值