linux 执行效率,awk[执行效率]的问题

最新推荐文章于 2022-07-05 09:59:00 发布
最新推荐文章于 2022-07-05 09:59:00 发布
阅读量502 收藏 1
点赞数
文章标签： linux 执行效率
博客讲述了在处理大量数据时，如何通过优化awk命令提高效率。原始方法使用for循环进行逐行比较，导致处理时间过长。经过优化，使用`if($2 in a)`的判断方式，大幅减少了执行时间。优化后的命令避免了重复遍历，提升了搜索速度。同时，文中还介绍了awk的`next`函数，用于跳过不满足条件的记录。
摘要由CSDN通过智能技术生成

背景：

甲方客户有个需求，有三个文件，要我拿两个文件与另个文件对比，把重复的找出来。

首先我应该：

-bash-3.2$ sort 12.12-12.19.txt |awk '{print $1}' |uniq -d

-bash-3.2$ sort 12.19-12.26.txt |awk '{print $1}' |uniq -d

-bash-3.2$ sort xinmin.txt |awk '{print $1}' |uniq -d |sed "s/\(.*\)....$/\1/g"

-bash-3.2$ cat xu001.txt  |sed "s/\(.*\)....$/\1/g"

ad48475

ad48495

ad48523

ad48527

ad48559

ad48610

ad509ad50328

//涉及用户信息，删掉几位。

结果：

我将要对比的基准文件里面有重复，而拿来对比的两个文件里面没有重复，那就是他要的结果就是没有用户ad了。

过程：

现在我有两个文件，file1(

12.12-12.19.txt )，file2，现在要找出来file里面的第一列是否存在file2中的第二列，如果有的话就print。

-bash-3.2$ head 12.12-12.19.txt

ad486327      281830  7.041G  287.466M        6.754G

-bash-3.2$ head xinmin.txt

AD00000989    ad485478

-bash-3.2$

其中file1 一万多行，file2 十二万行，数据量是非常大的。

-bash-3.2$ awk 'NR==FNR{a[FNR]=$1;b=FNR}NR>FNR{for(i=1;i<=b;i++)if(a[i]==$2)print a[i]}'  file2 file1

执行了将近一个小时。。。

后来在群里问别人，群主无名(awk天王)出现，指出我那个for循环的地方效率比较低，给我优化了一下：

-bash-3.2$ awk 'NR==FNR{a[￥1];next}NR>FNR{if($2 in a)print $0}' file1 file2

//-bash-3.2$ awk 'NR==FNR{a[FNR]=$1;b=FNR}NR>FNR{for(i in a)if($2==a[i])print a[i]}' 12.12-12.19.txt xinmin.txt  这样也可以。

结果10几秒钟就可以输出结果了！！！我震惊了！！！

感悟：

我的方法使用for循环一个一个对比的，处理几百对1万的数据量，还是可以的，但是1万多对10几万，就悲剧了。无名的方法是先讲file的$1赋值给数组a，if($2 in a)这一个判断$2是否是数组里面(数组的元素)。

提问：

为什么第二种效率会那么高？时间复杂度上我觉得也是一样的啊？

猜想：

我的执行顺序是先读入数组a，然后读入file2的时候，反复循环a里面的数据，如果符合条件，就打印。他的顺序是输入数组a，然后在读入file2的时候，判断file2的$2是否在a中，这样应该也是一个一个对比的。只是我对比的是数组里面的元素，他对比的数组的分量。也许是awk语法或者其处理规则问题，对于if($2 in a)这种方式，就快一点儿。

for(i in a)if($2==i)要比for(i=1;i<=FNR;i++)if(a[i]==$2)高效的多。for (i in a) 是可以的，for ($1 in a) 不对，if (i in a )、if($1 in a )都可以的。

备注：

那个地方不能用for(￥2 in a)，因为for(i in a)是固定格式。for(i in a)是将a中所有的元素(输出、运算)。如果file1 file2里面有不同的重复情况，上面的两个执行结果就不同了。

看下面：

file2 有18行是一样的， file3 29行市一样的。

-bash-3.2$ echo $((522/18))

29

-bash-3.2$ awk 'NR==FNR{a[$1];next}NR>FNR{if($1 in a)print $0}' file2 file3

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

ad48956231

-bash-3.2$ awk 'NR==FNR{a[$1];next}NR>FNR{if($1 in a)print $0}' file2 file3 | wc -l

29

-bash-3.2$  awk 'NR==FNR{a[FNR]=$1;b=FNR}NR>FNR{for(i=1;i<=b;i++)if(a[i]==$1)print a[i]}' file2 file3 |wc -l

522

-bash-3.2$

-bash-3.2$ awk 'NR==FNR{a[$1]=$1}NR>FNR{if(!($1 in a)){print $1}}' file2 file3

-bash-3.2$ awk 'NR==FNR{a[$1]=$1}NR>FNR{if(!($1 in a)){print $1}}' file3 file2

ad4855778

ad48569767

ad50002080

ad4851433

ad50003290

ad5000144

ad50001413

ad4863582

-bash-3.2$

-bash-3.2$ awk 'NR==FNR{a[$0]=1}NR>FNR{if!((a[$0]))print}' file3 file2

awk: NR==FNR{a[$0]=1}NR>FNR{if!((a[$0]))print}

awk:                          ^ syntax error

awk: NR==FNR{a[$0]=1}NR>FNR{if!((a[$0]))print}

awk:                                    ^ syntax error

-bash-3.2$ awk 'NR==FNR{a[$0]=1}NR>FNR{if(!(a[$0]))print}' file3 file2

ad4855778

ad48569767

ad50002080

ad4851433

ad50003290

ad5000144

ad50001413

ad4863582

-bash-3.2$

#############################################分割#############################################

-bash-3.2$ awk 'NR==FNR{a[$1];next}NR>FNR{if($2 in a)print $0}' file1 xinmin.txt

ʺAD00000027   ad489531

AD00000029    ad48557478

AD00000098    ad489767

AD00003110    ad502080

AD008    ad4133

AD000344    ad003290

AD0000357    ad500054

AD0000361    ad500413

AD00006   ad486821

-bash-3.2$ awk 'NR==FNR{a[$1];next}NR>FNR{for($2 in a)print $0}' file1 xinmin.txt

awk: NR==FNR{a[$1];next}NR>FNR{for($2 in a)print $0}

awk:                                      ^ syntax error

-bash-3.2$ awk 'NR==FNR{a[$1];next}NR>FNR{for(i in a)if($2==i)print $0}' file1 xinmin.txt

ʺAD00000027   ad489531

AD00000029    ad48557478

AD00000098    ad489767

AD00003110    ad502080

AD008    ad4133

AD000344    ad003290

AD0000357    ad500054

AD0000361    ad500413

AD00006   ad486821

-bash-3.2$

#############################################分割#############################################

对于他用到了next，其实我不会用这个函数，就百度了下：

next停止对当前输入记录的处理，从下一个输入记录继续。!!!

比如：

-bash-3.2$ cat heige.txt

2  b

3  c

4  d

5  e

6  f

7  g

8  h

9  i

10 j

fa  fal

lew 3

-bash-3.2$  awk '$0~/f/{next}{print}'

-bash-3.2$  awk '$0~/f/{next}{print}' heige.txt

2  b

3  c

4  d

5  e

7  g

8  h

9  i

10 j

lew 3

-bash-3.2$

扯淡：

快春节了，最近忙的跟狗一样，还有好多事情没搞定，今天来这写了篇博客，是不是有点扯淡。。。

k程
关注
高效的awk 中 ‘next’ 命令
解启超
03-20 420
next 命令 ，它告诉 awk 跳过你所提供的所有剩下的模式和表达式，直接处理下一个输入行。 要明白它是如何工作的, 让我们来分析一下 food_list.txt 它看起来像这样： Food List Items No Item_Name Price Quantity 1 Mangoes $3....
linux进行数据计算,利用 AWK 的数值计算功能提升工作效率
weixin_39830175的博客
05-12 683
Awk 是一种优秀的文本样式扫描和处理工具。 Awk 与 sed 和 grep 有些相似， 但功能比后者强不少。 awk 提供的功能包括样式载入， 流控制，数学运算符，进程控制以及许多内置的变量和函数等。 借助于这些功能， 我们可以很方便地利用 awk 对各种文件 (如试验产生的数据文件，数据库文件等) 进行处理。 本文介绍了 awk 在数值计算方面的运用， 并通过几个实际的例子， 阐述了如何利用...
linux 效率高,linux命令之行处理命令awk命令(重要,效率很高的一个命令)
weixin_35772916的博客
05-26 248
awk命令是处理文件的行命令,文件的每一行都会按照指定的方式去处理.尤其是在数据库批量操作的情况下,使用行命令加行命令的语法迅速的写sql语句,然后配合mysql命令行 -N < sql文件 执行sql命令非常高效下面是awk 命令的详解{} 命令代码块,包含一条或多条命令, 多条命令使用分号分隔-F 指定分隔符 , 比如$0 表示整行,$1,$2指第一列和第二列,-F参数就是指定以什么...
linux awk 效率,linux统计大文件行数的命令效率大对比,牛掰的awk 'END{print NR}' file...
weixin_33445930的博客
05-27 469
[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1116570real 0m2.535suser 0m1.499ssys 0m1.093s[Adm...
Linux运维实例 应用awk来进行高效率运维
weixin_49172531的博客
03-16 550
文章目录前言一、awk的工作原理原理命令格式常用选项二、使用方法1.文件输出BEGIN用法2.根据条件来精确匹配文件中的字符三元运算符管道和双引号调用shell命令 前言 awk和sed类似 都是编辑器的一种 但在原理和功用上不太一样 sed是流处理器 线性去执行 awk是根据模式和条件执行编辑命令 一、awk的工作原理 原理 awk是逐行读取文本，默认以空格或者tab来为分隔符进行分割，将分割所得到各个字段保存至内建变量中，并按模式或者条件执行编辑命令。 相比sed，awk倾向于一个将一行分为多个"字
awk运行效率存在巨大差异,4.0很给力！
weixin_34408624的博客
11-03 682
测试：[root@apply1 67]# wc -l duomi-delay-2012-11-0137818115 duomi-delay-2012-11-01/usr/local/bin/awk --versionGNU Awk 4.0.1Copyright (C) 1989, 1991-2012 Free Software Foundation.[root@appl...
awk实用程序源码.zip_awk源码_linux_linux awk 源码_makefile_实用程序
09-20
在Linux系统中，`awk`被广泛用于数据提取、格式转换和报告生成等任务。这个压缩包`awk实用程序源码.zip`包含了`awk`的源码，这对于深入理解其工作原理和学习如何编写自己的`awk`程序非常有帮助。 首先，让我们来看...
详解Linux中的awk命令
09-14
【Linux中的awk命令详解】 awk是一个强大的文本分析工具，它在Linux环境中被广泛用于处理文本文件，特别是数据处理和报告生成。...熟悉awk命令的使用，能极大地提高你在Linux环境中处理文本数据的效率。
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
Linux实战awk详解
12-18
Linux实战awk详解主要聚焦在如何利用awk这一强大的命令行工具处理文本流问题。Awk是Linux/unix系统中用于处理结构化文本数据的强大工具，它能够解析、处理和格式化文本，尤其在日志分析、数据提取和报表生成等方面...
linux-shell脚本命令：awk命令简介
07-27
Linux系统中的awk命令是一个功能强大的文本处理工具，它可以对输入（通常是文件）进行模式扫描和处理。...通过学习和熟练运用awk命令，开发者能够有效地进行数据处理和自动化任务，大大提升工作效率。
linux命令行效率,聊聊那些可以提高工作效率的Linux命令
weixin_36221113的博客
04-29 122
原标题：聊聊那些可以提高工作效率的Linux命令Linux下开发这么多年，越来越发现linux的强大与高效率，记录一些自己在linux下常用的命令供大家分享。 df 命令用于查看 Linux 文件系统的状态信息，显示各个分区的容量、已使用量、未使用量及挂载点等信息。如：df -k 以千字节 (KB) 为单位显示各分区的信息；df -a 显示所有分区， 包括大小为0 的分区；df -T 显示分区类型...
利用多核CPU来加速Linux命令 — awk、sed、bzip2、grep、wc
weixin_33676492的博客
06-12 184
为什么80%的码农都做不了架构师？>>> ...
awk,cut分割字符效率测试
weixin_33862993的博客
04-07 475
通过#或者@来分割字符串，可以通过awk或者cut来实现，awk可以通过正则，或者split来实现。 都能实现目标，那么他们的效率怎么样呢？我们来测试一下 [root@nagios fx]# timeawk -F[#@] ‘{print $4}’ www>/dev/null real 1m9.570s user 1m9.202s...
重修awk 基础篇
weixin_42816196的博客
12-04 1133
文章目录1、awk原理awk的报错查看打印每一行打印某些字段NF, 字段的数量NR 打印行号将文本放入输出中 1、awk原理 操作系统运行 awk 程序, 被运行的程序用单引号包围起来,awk程序就是模式-动作的组合方式进行组合的，这样会触发启动项。 模式主要是用于对文本的匹配 动作就是花括号里面的过滤条件 awk的报错查看 ^ Syntax error 指向的是报错的位置，语法错误就出...
使用awk计算2022年7月每一分钟的流量
m0_57633272的博客
07-05 310
使用shell和awk计算每一分钟的流量
Awk、Grep/Sed/Awk组合及Perl进行文本处理性能比较
老好人(廖海仁）的专栏
03-19 5527
Normal 0 7.8 磅 0 2 false false false MicrosoftInternetExplorer4 <object class
awk, python, perl文本处理效率对比(zz)
weixin_30627381的博客
10-25 299
转载，比较结果不一定正确，比较设计不一定科学. 以下3个文件依次是用python、awk和perl写的脚本，做同一件事情： diff.sh f1 f2 f1和f2每一行的第一个字段（以空格分割）为key，如果f2某一行的key在f1中不存在，则输出f2该行。 比如： a.dat的内容是 1 a 2 a b.dat的内容是 1 b 3 b 那么diff.sh a.dat b.d...
awk与shell效率比较
taotao193051的专栏
10-25 3357
需求：对比2个文件，找出仅存在文件A中的行 方法1： cat fileA | while read line do get=cat fileB|grep $line if [[ x”get”==x]];thenechoget” == x ]];then echo line >> diff.log fi done 方法2： awk ‘
Linux下的awk命令详解及示例
"Linux环境下awk命令的使用教程，包括基本语法、脚本编写、模式匹配、BEGIN和END规则、注释、记录与字段处理等核心概念的详细解释，并提供了丰富的示例...学习和掌握awk能够极大地提高你在Linux环境下的文本处理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值