awk 的性能测试

原创 2013年09月12日 12:06:49

需求简单描述如下:

a文件内容:
a a a 12
a b b 10
a c c 8
a c f 5
b文件内容:
a a a 10
a b b 8
a c d 3
处理后的内容,即前面三列相同的,第四列进行累加,得到如下:
a a a 22
a b b 18
a c c 8
a c f 5
a c d 3

PS:每个文件都是1000W行以上,代码如下:

awk '{n=$NF;NF--;a[$0]+=n}END{for(i in a)print i,a[i]}'  

记录数:39036922, 文件大小:1.56G ,最高消耗内存:8.2G,执行时间:169秒

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/reyleon/article/details/11598599

Shell性能调优

一、避免不必要的外部命令避免管道嵌套太深        写shell角本很爽,其中管道与重定向提供的强大的组合能力功不可没,管道的结构始终闪现在UNIX的设计中,促进了“做单件事比做好”哲学的萌发,因...
  • cm_chenmin
  • cm_chenmin
  • 2014-03-04 13:00:42
  • 1149

awk常见测试笔试面试

创建测试文件如下: #创建测试文件 for i in `ls ../`;do echo $i,2,3,4,5 >>input;doneinput内容: a+b.sh,2,3,4,5 awk,2,3...
  • magic_wz
  • magic_wz
  • 2013-01-06 13:45:49
  • 2852

Shell 条件测试

分类参考 文件状态测试 -b filename 当filename 存在并且是块文件时返回真(返回0) -c filename 当filename 存...
  • ruishenh
  • ruishenh
  • 2014-01-08 13:45:58
  • 1682

awk 的性能测试

需求简单描述如下: a文件内容: a a a 12 a b b 10 a c c 8 a c f 5 b文件内容: a a a 10 a b b 8 a c d 3 处理后的内容,即前面三列相同的,第...
  • reyleon
  • reyleon
  • 2013-09-12 12:06:49
  • 1293

NS2 分析网络<em>性能</em>的<em>AWK</em>文件

自己编写的经过验证的<em>AWK</em>文件,用于分析NS2中的TRACE文件,来解析网络<em>性能</em>,保证可以用,但是不同的机子会有不同的效果,大家改一些绝对可以用。
  • 2018年04月15日 00:00

linux awk详解awk详解awk详解awk详解

  • 2009年02月06日 16:46
  • 107KB
  • 下载

awk学习awk学习awk学习awk学习

  • 2010年11月25日 21:24
  • 308KB
  • 下载

awk学习,从入门到实战

转自:http://blog.csdn.net/longxibendi/article/details/6075608 awk是一种非常好的语言,同时有一个非常奇怪的名称。在本系列的文章中,Danie...
  • js8355081
  • js8355081
  • 2017-07-16 15:48:33
  • 146

awk 分析web日志(页面执行时间)(常见应用3)

前一段时间,我写过一篇文章,shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询),其中提到了分析耗时页面重要性。今天主要讲的,是通过awk分析日志,快捷得到执行时间。在性能以及效率方...
  • mao834099514
  • mao834099514
  • 2016-08-24 19:22:23
  • 468

使用AWK构造性能测试数据

目的:性能测试需要构造100万条base表数据 步骤:1、unload下一条待构造数据的记录作为模板       IFORMIX数据库执行SQL命令:       unload to accounts...
  • caohang1981
  • caohang1981
  • 2009-06-27 00:33:00
  • 261
收藏助手
不良信息举报
您举报文章:awk 的性能测试
举报原因:
原因补充:

(最多只允许输入30个字)