awk多维数组案例多角度解决实战

最新推荐文章于 2022-02-25 23:11:17 发布
最新推荐文章于 2022-02-25 23:11:17 发布
阅读量126 收藏
点赞数
文章标签： awk python 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34126557/article/details/85023679
版权 
版本：V1.1
问题提出者：python群友
问题是否解决：已解决
文档作者：悠久之翼(老男孩老师支持)
修改记录：2015-04-06
系统环境：Centos 6.6 （适合32bit and 64bit）
内核版本：2.6.32-504.el6.x86_64


问题描述：

以下是原文：来自网友的。

老男孩老师，你好：我要取如下数据：

1.单独第一列去重后的结果，这个我已做出来

awk '{count[$1]++}; END{for(name in count) print name,count[name]}' testfile.txt

wKiom1Ukl_uwVwirAAEE6xi-dOo006.jpg

2.取第一列和第二列同时去重后的wc–l 　，麻烦老师帮忙看下，谢谢！

统计后的结果格式如：000 2227  60


这是网友第一次提交给老男孩老师的问题。由于这些问题就是刚刚讲过的awk数组问题，正好交给学生练手！


下面是学生的完整分析，加上太多次的和老男孩的不断沟通，到底问题者想问什么问题


####蒙了吗？看下面分析吧。

数据文件如下：见本文附件

AYST002 010121012003771
AYST002 010121012003771
001 012345678912345
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012003771
AYST002 010121012002696
AYST002 010121012003771
一共2万多行测试数据数据文件如下：见本文附件


分析这位网友最终想要的结果：

0       2227    60
1       3880    4
4       53      2
014B002 6       2
014B004 202     2
014B010 1414    52
014B050 10      1
014B062 1276    36
014B090 53      6
014BA00 1367    13
20      34      7
40      6       4
600     1669    50
A0001   3245    18
ATM001  815     2
AYST001 254     7
AYST002 5451    156

继续问题分析

1．  上面问题实在让人费解，两天后终于想明白，他是什么问题è沟通代价太大，引以为戒。

2．  问题分析如下

3．  取得$1去重之后的计数

4．  $0去重之后，$1相同$2不同的个数（最后花了2天理解问题，哎~~，提问的人没说明白，我也没理解）

 

举例说明：

如果没有理解看看下面的例子：

[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(nin array) print n,array[n]}' 11.txt|sort
##先进行$0去重，截取
 
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
001 010121012002346 1
001 012345678912345 3646
001 015159014078175 1
001 1152 232
004 010121011079336 48
004 012345678912345 5
014B002 010121009019316 3
014B002 010121009201084 3
014B004 57e22bae43dfeafa 36
014B004 9e0647d809f4e31f 166
014B010 1c6bf2d598b3d9b5 69
014B010 2b6d303654a64ef3 6
014B010 2b742e4ee5aef95d 14
 
##获得的结果：
   一共出现的次数 $0去重后，以000开头$2不同的个数
000     18+25+14+4      4
001     1+3646          4
004     48+5            2
014B002 3+5             2
014B004 36+166          2
014B010 69+6+14         3
难理解的是最后一列：他是对$0去重后的$1相同 $2不同的，总共的可能性。配合我的例子，和结果理解就好了。


确定需求用了太久的时间，比解决问题时间长了很多！

解决方法：

方法一

简单粗暴：

[wxr@C66-test oldboy]$sort testfile.txt|uniq -c|awk -f sort_old.awk|sort
000     2227   60
001     3880   4
004     53     2
014B002 6       2
014B004 202     2
014B010 1414    52
014B050 10      1
014B062 1276    36
014B090 53      6
014BA00 1367    13
020     34     7
040     6      4
600     1669   50
A0001   3245   18
aim     total  singal_total
ATM001  815    2
AYST001 254     7
AYST002 5451    156
Z0001   3      1
[wxr@C66-test oldboy]$cat sort_old.awk
BEGIN{
print"aim""\t" "total" "\t""singal_total"
}
{
array_count[$2]+=$1
if(array[$2] != $3)
{
count[$2]++
array[$2]=$3
}
 
}
END{
for(n in count)
printn"\t"array_count[n]"\t"count[n]
}

 

方法二

只用awk
[wxr@C66-test awk]$ awk '{array[$0]++}END{for(keyin array)print key,array[key]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1]!= $2) { count[$1]++;array[$1]=$2 }} END {for(n in count) printn"\t"array_count[n]"\t"count[n]}'
Z0001  3       1
000    2227    60
ATM001 815     2
001    3880    4
014B062 1276   36
014B090 53     6
020    34      7
040    6       4
004    53      2
600    1669    50
014B010 1414   52
014B002 6      2
AYST001 254    7
AYST002 5451   156
014B004 202    2
014BA00 1367   13
A0001  3245    18
014B050 10     1

方法三：感谢老男孩老师给予高级AWK数组示例指导

[wxr@C66-test awk]$ catsort_paste.awk
{
split($0,xarry,FS)
one=xarry[1]
two=xarry[2]
 
array_count[one]++
 
if(!((one,two) intree)){
   tree[one,two]=1
   count[one]++
 }
}
END{
for(k in count){
printf("%16s %16s%16s \n",k,count[k],array_count[k])|"sort"
 }
}
[wxr@C66-test awk]$ awk-f sort_paste.awk 11.txt
             000               60             2227
             001                4             3880
             004                2               53
         014B002                2                6
         014B004                2              202
         014B010               52             1414
         014B050                1               10
         014B062               36             1276
         014B090                6               53
         014BA00               13             1367
             020                7               34
             040                4                6
             600               50             1669
           A0001               18            3245
          ATM001                2              815
         AYST001                7              254
         AYST002              156             5451
           Z0001                1                3

方法四：（同学穷酸书生）

[wxr@C66-test awk]$ awk'!array_check[$0]++{array[$1]++}{count[$1]++}END{for (n in array)printf("%16s %16s %16s\n",n,array[n],count[n])|"sort"}'11.txt
            000               60             2227
            001                4             3880
             004                2               53
        014B002                2                6
        014B004                2              202
        014B010               52             1414
        014B050                1               10
        014B062               36             1276
        014B090                6               53
        014BA00               13             1367
            020                7               34
            040                4                6
            600               50             1669
          A0001               18             3245
         ATM001                2              815
        AYST001                7              254
        AYST002              156             5451
          Z0001                1                3

小结：

1．  上面的还可以继续改进加上标题，BEGIN{}自由发挥吧。

2．  练习使用awk数组，理解数组下标就是个字符串。


解决后的答案很光鲜，看看背后的花絮吧。


老男孩 2015/4/6 17:24:16
不太好理解这位网友的意思
沟通成本太大了
你好好理解下 说明给我吧，然后老师指导你搞定，
你们学了awk数组了，这是练兵的最好机会，呵呵！

21期学员-悠久之翼 2015/4/6 17:24:34
嗯是的。  我花了2天才理解。
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000
000 010121008040030 13
000 010121009642993 84
000 010121009794788 1
000 010121011000030 1
000 010121011079336 56
000 010121011153649 14
000 010121012000089 8
000 010121012002325 159
000 010121012002400 7
000 010121012002687 14
000 010121012002692 2
000 010121012002722 43
000 010121012003231 15
000 010121012003452 1
000 010121012003516 9
000 010121012003711 24
000 010121012003875 8
000 010121012003986 6
000 012345678912345 62
000 014421001000002 1
000 014444000015121 10
000 101211489913522 30
000 106552913112164 36
000 108112812133281 3
000 1151 1
000 117128150151313 13
000 121460828135981 33
000 157135111231073 33
000 1bad6941cfcd81a7 89
000 201213741313151 2
这是第一步
然后对他 wc -l  
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000|wc -l
60

21期学员-悠久之翼 2015/4/6 17:26:31
是在$0 基础之上在统计数目。   

21期学员-悠久之翼 2015/4/6 17:28:16
60是在对 $0 作为key 之后，再次进行统计。

老男孩 2015/4/6 17:31:24
你使用少量数据给出要的效果
不然 难以理解，几条数据说明问题，表达能力比技术更重要

21期学员-悠久之翼 2015/4/6 17:32:55
好的 

21期学员-悠久之翼 2015/4/6 17:38:15
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort
先进行$0去重，截取
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
001 010121012002346 1
001 012345678912345 3646
001 015159014078175 1
001 1152 232
004 010121011079336 48
004 012345678912345 5
014B002 010121009019316 3
014B002 010121009201084 3
014B004 57e22bae43dfeafa 36
014B004 9e0647d809f4e31f 166
014B010 1c6bf2d598b3d9b5 69
014B010 2b6d303654a64ef3 6
014B010 2b742e4ee5aef95d 14
获得的结果：
000 	一共出现的次数 $0去重后，以000开头$2不同的个数
000 	18+25+14+4      4
001 	1+3646    		4
004 	48+5 			2
014B002 3+5 			2 
014B004 36+166 			2 
014B010 69+6+14 		3 

老男孩 2015/4/6 17:42:53
以000开头$2不同的个数 $2是c78f62db913017ea 列？还是$3

21期学员-悠久之翼 2015/4/6 17:43:19
$2 

老男孩 2015/4/6 17:43:20
你这个结果的第三列哪来的

老男孩 2015/4/6 17:44:15
明白了

21期学员-悠久之翼 2015/4/6 17:44:19
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
000开头 $2 不同的个数 就是 $2

老男孩 2015/4/6 17:44:25
这是你理解的 还是人家真是这个意思

21期学员-悠久之翼 2015/4/6 17:44:35
这题不说明白很难理解。

老男孩 2015/4/6 17:44:46
是的

21期学员-悠久之翼 2015/4/6 17:44:49
我的理解 然后 我对比了 他的结果 看样子是对的。

21期学员-悠久之翼 2015/4/6 17:45:51
从结果看是这样的意思。

老男孩 2015/4/6 17:46:16
呵呵，聊天记录都保留，你说这理解别人的思想多难
自己不说清楚 就更难

21期学员-悠久之翼 2015/4/6 17:46:41
用数据说话才是王道。

老男孩 2015/4/6 17:46:43
我这时间有限啊，不喜欢猜别人的想法。这就是表达能力

21期学员-悠久之翼 2015/4/6 17:48:52
我会下次整理的更好 再问的。  

老男孩 2015/4/6 17:50:19
你没搞定么，不难啊，可以两条awk，也可以多维数组，不过要awk编程了

21期学员-悠久之翼 2015/4/6 17:51:11
2条就简单了。我就想着一条。

老男孩 2015/4/6 17:51:46
别啊!

21期学员-悠久之翼 2015/4/6 17:51:46
sort uniq 换成awk|awk 就行了。

老男孩 2015/4/6 17:51:59
先来两条给个答案看看,事情都是一步步解决的。
一条就要多个数组，甚至多为数组了

21期学员-悠久之翼 2015/4/6 17:53:06
我就是纠结那个多维数组。 蒙了。。

老男孩 2015/4/6 17:53:14
你先分两条搞定，回头老师帮你实现一条的方法
一步步来，等你结果！

21期学员-悠久之翼 2015/4/6 17:53:45
好的

老男孩 2015/4/6 17:54:28
2条搞定后 你自然可以多条搞定，我给你一个我以前写的awk多数组加函数的例子
接文件仔细看

21期学员-悠久之翼 2015/4/6 17:58:37
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1] != $2){count[$1]++;array[$1]=$3}}END{for (n in count)print n"\t"array_count[n]"\t"count[n]|"sort -n"}'
000     2227    60
A0001   3245    18
ATM001  815     2
AYST001 254     7
AYST002 5451    156
Z0001   3       1
001     3880    4
004     53      2
014B002 6       2
014B004 202     2
014B010 1414    52
014B050 10      1
014B062 1276    36
014B090 53      6
014BA00 1367    13
020     34      7
040     6       4
600     1669    50

21期学员-悠久之翼 2015/4/6 17:59:44
自己看着都晕。

老男孩 2015/4/6 18:01:48
哇，搞定了？
对方已成功接收了您发送的离线文件“parse-awk例子老男孩教育案例.rar”(29.84KB)。

21期学员-悠久之翼 2015/4/6 18:02:52
是的 因为 两个awk 就是拼积木了。  
第一个$0  第二个 $1 $2 计数 我之前做好的 改一下就能用。

21期学员-悠久之翼 2015/4/6 18:06:08
好东西。谢谢老师。

老男孩 2015/4/6 18:07:21
先2条搞定这个就可以了，接下来要AWK编程了
处理完不输出，继续处理。用我给你的例子 就可以了

21期学员-悠久之翼 2015/4/6 18:07:53
明白 那些函数的使用 很头痛。

老男孩 2015/4/6 18:08:58
思路清晰了 就简单了啊
接下来要AWK编程，处理完不输出，继续处理，直到得到最终结果再输出
这个搞定了 你AWK能力就 再运维层次里NO1了

21期学员-悠久之翼 2015/4/6 18:10:13
谢谢老师指点。

老男孩 2015/4/6 18:10:49
有思路没？现在

21期学员-悠久之翼 2015/4/6 18:13:19
有一点点  
使用split把数据分块。 
A   B   
然后 A,B in array 查询 
不存在就 count++
理解到这里。 


21期学员-悠久之翼 2015/4/6 18:15:22
之前我也这样想过 可是没办法实现。
现在可以尝试一下了。
谢谢老师。

21期学员-悠久之翼 2015/4/7 7:25:53
[wxr@C66-test awk]$ cat sort_paste.awk 
{
split($0,xarry,FS)
one=xarry[1]
two=xarry[2]

array_count[one]++

if(!((one,two) in tree)){ 
   tree[one,two]=1
   count[one]++
 }
}
END{
for(k in count){
printf("%16s %16s %16s \n",k,count[k],array_count[k])|"sort"
 }
}
[wxr@C66-test awk]$ awk -f sort_paste.awk 11.txt 
             000               60             2227 
             001                4             3880 
             004                2               53 
         014B002                2                6 
         014B004                2              202 
         014B010               52             1414 
         014B050                1               10 
         014B062               36             1276 
         014B090                6               53 
         014BA00               13             1367 
             020                7               34 
             040                4                6 
             600               50             1669 
           A0001               18             3245 
          ATM001                2              815 
         AYST001                7              254 
         AYST002              156             5451 
           Z0001                1                3 

21期学员-悠久之翼 2015/4/7 22:58:46
问题已经解决，四种方法。 
请老师指点一下，哪里需要 改进。


weixin_34126557
关注
awk详解 数组
惨绿少年 | 欢迎访问CLSN博客站点 http://clsn.io
12-27 5092
第1章 awk命令基础 1.1 awk命令执行过程 1、如果BEGIN 区块存在，awk执行它指定的动作。 2、awk从输入文件中读取一行，称为一条输入记录。如果输入文件省略，将从标准输入读取 3、awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。 4、把当前输入记录(数据行)依次与
linux Shell脚本里面把一个数组传递到awk内部进行处理
01-10
前段时间和几位同事讨论过一个问题：Shell脚本里面怎样把一个数组传递到awk内部进行处理？ 当时没有找到方法。前两天在QQ群里讨论awk的时候，无意间又聊起这个话题。机缘巧合之下找到一个思路，特此分享。 测试环境...
awk 数组实例
weixin_34290096的博客
12-20 96
awk 数组实例 awk的数组，一种关联数组（Associative Arrays），下标可以是数字和字符串。因无需对数组名和元素提前声明，也无需指定元素个数 ，所以awk的数组使用非常灵活。 首先介绍下几个awk数组相关的知识点： <1>建立数组 array[index] = value ：数组名array，下标index以及相应的值value。 ...
awk使用笔记：多维数组（带例子）
abcd1f2的专栏
04-20 4532
awk通过将下标整体看成一个字符串来支持多维数组。本文结合例子介绍awk多维数组的赋值及遍历。 文章目录 [隐藏] 1. 多维数组 2. 数组赋值 3. 遍历数组 3.1 分割字符串split 4. 其他 1. 多维数组 awk通过将下标整体看成一个字符串来支持多维数组，实际上是一维数组，如array[5,6]=7，下标5
awk多维数组
elihe2011的专栏
05-04 458
array[index1,index2,……] ，SUBSEP是数组下标分割符，默认为 “\034”awk 'BEGIN{SUBSEP=":"; array["a","b"]=1; for(i in array) print i}' awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'# cat file1 g1.1 2 g2.2 4 g2.
多维数组案例及作业
weixin_57488568的博客
08-13 288
案例： 多维数组的定义和赋值 // 存储 3 个班各 5 名同学成绩 // 前面是一维数组的容量/长度 // 后面是二维数组的容量/长度 // double[][] scores = new double[3][5]; // 二维数组的长度可以不定义 double[][] scores = new double[3][]; socres[0] = new double[2]; socres[1] = new double[3]; socres[2] = new double[4]; // 给第1.
shell （awk）数组使用案例
weixin_34318272的博客
11-20 211
1.取ifconfig eth0的IP地址[liu@weblogic ~]$ ifconfig eth0eth0 Link encap:Ethernet HWaddr 00:0C:29:68:47:71 inet addr:192.168.48.144 Bcast:192.168.48.255 Mask:255.255.255.0 ...
linux shell实现求一个多维数组中的最大和最小值
09-15
本文将详细介绍如何使用 Linux Shell 来找出一个包含多个一维数组的多维数组中的最大值和最小值。 #### 核心知识点： 1. **Shell 数组的定义与使用** 2. **Shell 脚本中的循环结构** 3. **条件判断与变量赋值** 4....
Linux Awk数组操作详细介绍
01-09
用awk进行文本处理，少不了是它的数组处理。那么awk数组有那些特点，一般常见运算又会怎么样呢。我们先看下下面的一些介绍，结合例子我们会讲解下它的不同之处。在 awk 中数组叫做关联数组(associative arrays)，...
awk数组实战
01-17
本主题聚焦于`awk`的数组应用，将深入探讨如何利用`awk`处理数组，以实现对复杂数据集的分析和操作。 数组在`awk`中扮演着核心角色，它允许我们存储和处理一组相关的数据。与许多编程语言不同，`awk`中的数组并不...
16 数组 多维数组 实例
千寻简笔记《chihiro-notes》已开源|公众号：千寻简
02-25 213
多维数组 概念 多维数组可以看成是数组的数组，比如二维数组就是一个特殊的一维数组，其没一个元素都是一个一维数组。 二维数组 int a[][] = new int[2][5]; 解析：以上二维数组 a 可以看成一个两行五列的数组。 思考：多为数组的使用？ num[1][0]; 实例 // 定义 /* 定义了一个[3行][2列]的数组 1,2 array[0] 3,4 array[1] 5,6 array[2] */ int[][] array = {{1,2},{3,4
shell脚本--awk数组入门案例
Andy_Hanna的专栏
11-18 367
awk数组在处理文本的时候非常有用，数组的形式也是：数组名[下标]，比如arr[a],arr[b]。注意，awk数组的下标不仅仅是数字，可以是很多字符。awk数组遍历的时候通常使用 for i in arr，i就是arr的下标。 案例：测试文本如下，将第一列作为唯一标识对第二列进行累加，效果为a 3，b7。 [root@172-0-10-222 myscripts]# cat testfil...
linux awk 二维数组,上古神器-AWK中高级实例分享-中
weixin_32737183的博客
05-17 365
**《上古神器-AWK中高级实例分享-中》**awk '$1=="sun" {print $0}' fileawk '$1 ~ /sun/ {print $0}' fileawk '$2>40' fileawk 'length($1)>4 && $2>50' fileawk '/^$/{x++}END{print x}' fileI,II 两种方式重点掌握I&gt...
linux awk 按多列 去重 来统计数据之妙用
会当凌绝顶 一览众山小
04-18 2496
这是我日常工作统计日志用到的，现记录下： 比如有这样一个日志：   需要统计push,的点击数量，按cookie去重，因为一个设备可能点击多次   第一步，先看看这几列，打印出来看看， awk -F "," '{print $2" "$3" "$6" "$7" "$9}' pushLog.log     第二步，按上面的几列去重 awk -F "," '!a[$2
使用awk生成access日志多维度分析报表
VincentQB的博客
05-09 1039
原由： 某天某项目网站被一些IP恶意DDOS，因为没有卖运营商的流量清洗等等之类的防护服务，导致该项目无法访问 产生了三个处理需求： 需要识别恶意IP进行封堵 需要定位被攻击的页面查找攻击弱点 需要定位攻击频繁的时段进行监控 这三个需求其实都不能实质解决问题 因为IP是封不完的，监控也是只能知道自己有没有被攻击而已，而找到了被攻击的页面也只是找到了本次被攻击的弱点而已 类...
AWK基本命令
FRESHET的专栏
04-30 557
awk基本命令 1.awk '{print $1}' /etc/fstab 默认以空格为分割符的第一个字段打印出来，空格不算 2.awk '{print $1 "\t " $3}' /etc/fstab 打印两个字段， lu@lu-VirtualBox:~$ awk '{print $1 "\t " $3}' /etc/fstab # static # # 'blk...
linux awk命令详解（一） awk语法 awk运算 awk数组
Daemon
12-04 6799
$ awk '/^(no|so)/' test-----打印所有以模式no或so开头的行。 $ awk '/^[ns]/{print $1}' test-----如果记录以n或s开头，就打印这个记录。 $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一个域以两个数字结束就打印这个记录。 $ awk '$1 == 100 || $2 < 50' test-----如果第一个或等于100或者第二个域小于50，则打印该行。 $ awk '$1 != 10' test
AWK编程指南：从入门到实战
“AWK入门教程和实战案例” AWK是一种强大的文本分析工具，常用于Linux和Unix系统中处理结构化文本数据。这个入门教程涵盖了AWK的基本概念和实用技巧，包括如何编写和运行AWK程序，以及一系列实际的案例应用。 1. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值