AWK测试

最新推荐文章于 2022-02-02 20:12:47 发布
最新推荐文章于 2022-02-02 20:12:47 发布
阅读量108 收藏
点赞数
文章标签： awk python shell
原文链接：https://my.oschina.net/hanruikai/blog/336717
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1.简单实例 

awk逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行你想要的操作

  awk基本结构包括模式匹配(用于找到要处理的行)和处理过程(即处理动作)。
       pattern  {action}

   行为用{}包括住，awk后面的模式加操作用单引号包括。

  

[nxuser@PSBJ-0-0-0 pstests]$ cat  /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=PSBJ-0-0-0
NOZEROCONF=yes
NETWORKING_IPV6=yes
IPV6_AUTOCONF=no
GATEWAY=135.252.172.1
备注：打印包含主机名的行，因为没有指定动作指令，默认动作为打印。
[nxuser@PSBJ-0-0-0 pstests]$ awk  '/HOSTNAME/'  /etc/sysconfig/network
HOSTNAME=PSBJ-0-0-0
[nxuser@PSBJ-0-0-0 pstests]$ awk '/HOSTNAME/ {print "find it!"}'  /etc/sysconfig/network
find it!

  也可以写好awk命令的shell脚本，然后利用-f参数调用 ，如下所示

  

[nxuser@PSBJ-0-0-0 pstests]$ cat findhostname.sh 
/HOSTNAME/ {print "find it!"}//注意去掉单引号，否则报错

[nxuser@PSBJ-0-0-0 pstests]$ awk -f findhostname.sh   /etc/sysconfig/network
find it!

2.基本操作

1,。awk一次从文件中读取一条记录，并将记录存储在字段变量$0中。记录被分割为字段并存储在$1,$2 ..., $NF中(默认使用空格或制表符为分隔符)。
    内建变量NF为记录的字段个数，此处

[nxuser@PSBJ-0-0-0 pstests]$ echo hello world |awk  '{print $1,$2}'
hello world 

[nxuser@PSBJ-0-0-0 pstests]$ echo hello world |awk  '{print NF}'
2

[nxuser@PSBJ-0-0-0 pstests]$ echo hello world |awk  '{print $NF}'
world

2.  默认awk读取数据以空格或制表符作为分隔符，但可以通过-F或FS(field separator)变量来改变分隔符。
    示例：

  awk -F 分隔符 '{print $1}'

  或者 awk  'BEGIN {FS=":"} {print $1}'

[nxuser@PSBJ-0-0-0 pstests]$ echo hello:world |awk -F:  '{print $1}'
hello

[nxuser@PSBJ-0-0-0 pstests]$ echo hello:world |awk 'BEGIN {FS=":"} {print $1}'
hello

  多个分隔符，利用 {FS="[:,]"}表示，如下

[nxuser@PSBJ-0-0-0 pstests]$ echo hello:world,ok  |awk 'BEGIN {FS="[:,]"} {print $1,$2,$3}'
hello world ok

3. 内置变量

 以下为awk内置变量：

          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号，尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符，默认为空格
          ORS        输出记录分隔符，默认为换行符\n
          RS        输入记录分隔符，默认为换行符\n

[nxuser@PSBJ-0-0-0 tmp]$ awk '{print FILENAME}'   testfunction.sh 
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh
testfunction.sh

 

[nxuser@PSBJ-0-0-0 tmp]$ awk  '/HOSTNAME/'   /etc/sysconfig/network
HOSTNAME=PSBJ-0-0-0
[nxuser@PSBJ-0-0-0 tmp]$ awk  '/HOSTNAME/ {print $1}'   /etc/sysconfig/network
HOSTNAME=PSBJ-0-0-0
[nxuser@PSBJ-0-0-0 tmp]$ awk -F=  '/HOSTNAME/ {print $1}'   /etc/sysconfig/network
HOSTNAME
[nxuser@PSBJ-0-0-0 tmp]$

4. 表达式与操作符

  表达式是由变量、常量、函数、正则表达式、操作符组成，awk中变量有字符变量和数字变量。如果在awk中定义的变量没有初始化，则初始值为空字串或0。
    注意：字符操作时一定记得需要加引号
    1) 变量定义示例：
        a="welcome to beijing"
        b=12
    2) 操作符(awk操作符与C语言类似)
    +        加
    -        减
    *        乘
    /        除
    %        取余
    ^        幂运算
    ++        自加1
    --        自减1
    +=        相加后赋值给变量(x+=9等同于x=x+9)
    -=        相减后赋值给变量(x-=9等同于x=x-9)
    *=        相乘后赋值给变量(x*=9等同于x=x*9)
    /=        相除后赋值给变量(x/=9等同于x=x/9)
    >        大于
    <        小于
    >=        大于等于
    <=        小于等于
    ==        等于
    !=        不等于
    ~        匹配
    !~        不匹配
    &&        与
    ||        或 


-F 指定分隔符，有END最后输出统计结果，否则输出每行的结果

[nxuser@PSBJ-0-0-0 tmp]$ awk  '/aaaa/ {x+=1} END {print x}' test.txt

[nxuser@PSBJ-0-0-0 tmp]$ cat test.txt
aaaa
bbbb
cccc
dddd
aaaa
bbbb
cccc
dddd
[nxuser@PSBJ-0-0-0 tmp]$ awk  '/aaaa/ {print x+=1}' test.txt 
1
2
[nxuser@PSBJ-0-0-0 tmp]$ awk  '/aaaa/ {x+=1} END {print x}' test.txt 
2
[nxuser@PSBJ-0-0-0 tmp]$ awk -F:  '$3>500  {print  $1}'      /etc/passwd

5 循环


1. {if(xxx) print xxx ; else  xxx}以分号分隔

[nxuser@PSBJ-0-0-0 tmp]$ cat  /etc/passwd |grep  mysql | awk -F: '{if($3>100) print $3; else print "too small"}'
31034

2.   for 循环

[nxuser@PSBJ-0-0-0 tmp]$  awk  'BEGIN {for(i=1;i<=10;i++) print i}'  test.txt
1
2
3
4
5
6
7
8
9
10
[nxuser@PSBJ-0-0-0 tmp]$  awk  '{for(i=1;i<=10;i++) print i}'  test.txt
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
[nxuser@PSBJ-0-0-0 tmp]$ vi test.txt 
aaaa
bbbb
cccc
dddd
aaaa
bbbb
cccc
dddd

3. while循环

[nxuser@PSBJ-0-0-0 tmp]$ awk  'BEGIN { while (i<=10) {++i; print i}}'  
1
2
3
4
5
6
7
8
9
10
11

6 应用场景

使用 awk 场景举例

统计浏览器类型

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

 awk -F\" '{print $6}' access.log | sort | uniq -c | sort -fr
[nxuser@PSBJ-0-0-0 tmp]$ cat assess.log 
nxuser:firefox:201304001
root:IE:201304001
nxuser:firefox:201304001
root:IE:201304001
root:IE:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
root:IE:201304001
root:IE:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
root:IE:201304001
root:IE:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
root:IE:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001

比如上述是访问log，按统计浏览器类型统计次数，如下

-c 参数显示文件中每行连续出现的次数。所以先用sort排序，然后用uniq  -c 统计次数。如果不用sort，不能实现统计。因为uniq是统计每行连续出现的次数

uniq命令不加任何参数，仅显示连续重复的行一次

[nxuser@PSBJ-0-0-0 tmp]$ awk -F: '{print $2}' assess.log  |sort | uniq -c
     13 IE
     12 firefox
 [nxuser@PSBJ-0-0-0 tmp]$ awk -F: '{print $2}' assess.log  |sort | uniq   
IE
firefox

备注：

sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：
　　sort [-bcfMnrtk][源文件][-o 输出文件] 
补充说明：sort可针对文本文件的内容，以行为单位来排序。

参　　数：
  -b   忽略每行前面开始出的空格字符。
  -c   检查文件是否已经按照顺序排序。
  -f   排序时，忽略大小写字母。
  -M   将前面3个字母依照月份的缩写进行排序。
  -n   依照数值的大小排序。
  -o<输出文件>   将排序后的结果存入指定的文件。
  -r   以相反的顺序来排序。
  -t<分隔字符>   指定排序时所用的栏位分隔字符。
  -k  选择以哪个区间进行排序。

7 测试sort命令

sort  -u  去除重复 ，如下：

[nxuser@PSBJ-0-0-0 tmp]$ sort -u assess.log               
nxuser:firefox:201304001
root:IE:201304001

不带任何参数，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出

[nxuser@PSBJ-0-0-0 tmp]$ sort  assess.log 
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001

sort  -r  sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了

[nxuser@PSBJ-0-0-0 tmp]$ sort  -r  assess.log 
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
root:IE:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001
nxuser:firefox:201304001

http://manual.blog.51cto.com/3300438/932958

转载于:https://my.oschina.net/hanruikai/blog/336717

weixin_33734785
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
awk测试从nginx查询qps的测试日志.log
07-15
awk测试从nginx查询qps的测试日志
awk报告生成器
qq_44236589的博客
08-17 110
1.awk处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行最一些总结性质的工作，在命令格式上分别体现如下： BEGIN{}:读入第一行文本之前执行，一般用来初始化操作 {}:逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令 END{}:处理完最后一行文本后执行，一般用来输出处理结果 2.awk基本用法 linux上面默认使用gawk awk ‘{pr...
坚持#第248天~awk和初级、中级测试
libanxian9527的博客
12-22 274
awk数组： awk -v是定义变量的var 关联数组：因为awk数组的下表可以是数值，也可以是字符串，遍历的是数组的下标   declare -a test1普通数组是-a test2=(e0 e1 e2) declare -A test2关联数组是-A test2[zifuchuan1]=var1 test2[zifuchuan2]=var2 declare -A | gre
awk在线实例入门教程 第3部分
10-21 81
awk在线实例入门教程 第三部分——字符串函数和……支票簿？格式化输出虽然大多数情况下 awk 的 print 语句可以完成任务，但有时我们还需要更多。在那些情况下，awk 提供了两个我们熟知的老朋友 printf() 和 sp...
TCP状态变迁图及状态说明
一个人的安静
10-12 287
TCP状态变迁图： [img]http://dl.iteye.com/upload/attachment/155115/140f2dad-84f7-339e-b127-ba8d0434fc5c.gif[/img] 状态：描述 CLOSED：无连接是活动的或正在进行 LISTEN：服务器在等待进入呼叫 SYN_RECV：一个连接请求已经到达，等待确认 SYN_SENT：应用已经开始，...
生成awk测试文件的shell脚本文件
04-14
生成awk测试文件的shell脚本文件，文件共有两个参数（可全部留空），第一个参数是生成的新文件名称，第二个参数是key值名称，也就是内部的重复循环部分的字符串
模拟网络流量awk测试脚本
04-06
很小的一个脚本，里面有两个函数可以生成随即ip和随即时间，你...运行：awk -f flowcreate.awk 文件名 会自动在文件后加入10条模拟流量 脚本是在linux下写的，在windows下记事本打开格式很乱，dev打开格式还是很好的。
awk入门到精通.pdf
08-24
也可藉此方式来先行测试大程序原型的可行性与 正确性, 将来若需要较高的执行速度时再用C语言来改写.这是awk最常被应用之处. 若能常常 如此处理问题, 读者可以以更高的角度来思考抽象的问题, 而不会被拘泥于细节的部...
redis-awk:awk 的 redis 客户端绑定（尤其是 gawk）
06-26
我没有仔细测试过。用法目前， redis.awk提供以下功能： redis_open(HOST, PORT) ：连接到Redis服务器， redis_close(CONN) ：关闭与Redis服务器的连接， redis_command(CONN, RESP, ARGC, ...) ：请求Redis操作， ...
Shell编程-正则表达式及正则表达式在线测试网站
cwz59186的博客
04-11 2145
在正文开始之前向大家介绍一个在线的很好用的正则表达式规则测试的网站 https://regex101.com/ 本文简要介绍Shell编程中正则表达式的相关内容，所谓正则表达式(regular expression)是指一种字符串匹配的模式（pattern），其可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。值得一提的是，不同的编程语言的正则表...
一、awk命令练习题（持续更新）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
01-03 5314
文章目录一、awk命令练习题 一、awk命令练习题 1、只显示/etc/passwd的账户 2、只显示/etc/passwd的账户和对应的shell，而账户与shell之间以制表符分割，并在第一行上添加列名lee制表符/bin/bash，最后一行添加chen制表符/sbin/nologin 3、搜索/etc/passwd有关键字root的所有行 4、统计/etc/passwd文件中，每行的行号，每列的列数，对应的完整行内容以制表符分隔 5、输出/etc/passwd文件中以nol
Linux awk (测试)
weixin_30425949的博客
01-22 75
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred Aho...
文本处理语言awk在线实例极速入门 (全三部分)
hendyyou的专栏
09-12 638
awk在线实例入门教程 第一部分———一种名称很奇特的优秀语言介绍Awk 是一种名称奇怪但功能强大的语言。本系列文章是一个包含三部分(分别发布至本帖1#, 2#, 3#楼)。本文将使您迅速掌握 awk 编程技巧。随着本系列的进展，将讨论更高级的主题，最后将演示一个真实的高级 awk 应用程序。捍卫 awk在这一系列的文章中，我
awk工具使用介绍
weixin_44381207的博客
01-17 242
awk工具介绍 awk也是一个功能强大的编辑工具，与sed一样，可在无交互的情况下实现相当复杂的文本操作 命令格式： awk 选项 '模式或条件 {编辑指令}’ 文件1 文件2 awk -f 脚本文件 文件1 文件2 工作原理： 逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令 awk内置变量 FS:指定每行文本的字段分隔符，缺省为空格或...
awk工具
Sunnylunch-blog
04-22 2346
一、什么是awk awk也是文本处理工具,与sed相比，awk不仅能以行为单位处理文件，还可以以列为单位处理文件。awk的缺省行分隔符是”\n”,缺省列分隔符是空格或tab，但是行分隔符和列分隔符都是可以自定义。awk还是一门很复杂的脚本语言，具有像C语言一样的分支和循环结构。二、awk命令格式 awk option ‘编辑命令’ file1 file2 … awk option -f
Shell脚本，awk编程语言，awk科普，awk语法，风格，awk的print功能，列数$num
ganfanren00001的博客
02-02 5053
Shell脚本，awk编程语言，awk科普，awk特点和作用 O、介绍awk 1、基于模式匹配检查输入文本，逐行处理并输出 2、通常用于在shell脚本中，获取指定的数据 3、单独使用时，可以对文本数据做统计 一、awk不同与sed和grep的地方 1、grep的作用是从文件中过滤并显示出指定内容的内容行。 2、sed除了可以从文件中过滤出指定内容的内容行，还能对文件的行数据进行非交互式编辑和其他操作。 3、awk用于对指定文件的数据进行分列，区别与以行作为数据单位，awk可以将内容按照规则分列，并对逐列的
awk常见测试笔试面试
漫步
01-06 5342
创建测试文件如下： #创建测试文件 for i in `ls ../`;do echo $i,2,3,4,5 >>input;doneinput内容： a+b.sh,2,3,4,5 awk,2,3,4,5 case.sh,2,3,4,5 for.sh,2,3,4,5 grep.all,2,3,4,5 if.sh,2,3,4,5 param.sh,2,3,4,5 sed,2,3,4,5 t
awk 匹配_利器 | 测试必会之 Linux 三剑客 ( grep / awk / sed )
weixin_39782433的博客
10-22 268
本文为霍格沃兹测试学院优秀学员课程学习系列笔记，想一起系统进阶的同学文末加群交流。Linux 给人的印象是黑乎乎的神秘窗口，文本操作和数据处理似乎没有 Windows 窗口界面直观方便。其实Linux 有自己的独特的法宝，称之为三剑客：grep，awk 和 sed。你可以用这三件法宝很方便的处理数据 ：查找，分段，修改，而这三个功能对应着我们今天的主角：grep，awk，sed。形象一点...
linux中awk运行方式,linux中awk工具的使用
weixin_31674039的博客
05-02 228
运行环境：centos6 Vmware一、awk简介awk是一个非常好用的数据处理工具，相对于sed常常作用于一整个行的处理，awk则比较倾向于一行当中分成数个【字段】处理，因此，awk相当适合处理小型的数据数据处理。awk是一种报表生成器，就是对文件进行格式化处理的，这里的格式化不是文件系统的格式化，而是对文件内容进行各种“排版”，进而格式化显示；在linux中我们使用的是GNU awk简称ga...
awk 反弹shell
最新发布
06-08
awk 可以通过 system() 函数来执行 shell 命令，从而实现反弹 shell。具体步骤如下： 1. 在目标机器上启动一个监听端口的服务。...注意，这种方式非常危险，应该遵循法律法规，仅用于技术研究和安全测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值