Awk、Grep/Sed/Awk组合及Perl进行文本处理性能比较

最新推荐文章于 2024-02-23 14:55:03 发布
VIP文章 最新推荐文章于 2024-02-23 14:55:03 发布
阅读量5.4k 收藏 4
点赞数
分类专栏： 编程语言 文章标签： perl 任务 数据分析 编程 linux 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skydreamer01/article/details/4004848
版权

1.引言

从原始数据文件中获取各种类型的数据，将其去除报头后输出到根据数据类型命名的不同文件中。这一分拣和格式化数据的任务是很多数据分析处理的基本部分。实现这一任务可以选择多种可能的方式：用Awk、grep/sed/awk组合或者Perl来实现。

为了比较这三种实现方式的性能，我们选择了同样的数据进行测试，分别用三种方式编程，实现同样的功能，并且比较其运行时间性能。

我们使用的各种工具及操作系统版本如下：

最低0.47元/天 解锁文章
skydreamer01
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外任意一个字符，类似通配符？ ^ 匹配行首或后面字符的非 $ 匹配行尾 [ ] 匹配中括号中的指定任意一个字符，只匹配一个字符 [^] 匹配除了中括号的字符以外的任意一个字符，（取反） \ 转义符，让特殊的字符丧失意义 {n} 表示其前面的字符恰好出现n次 {n,} 表示其前面字符出现不少于n次。 {n,m} 表示其前面的字符至少出现n次,最多出现m
linux批量替换文件内容3种方法(perl,sed,shell)
weixin_34010566的博客
03-08 698
方法1：   这两天在构建一个应用的使用用到了maven,由于project很大,足足有700多个 pom.xml文件,更郁闷的是在很多pom.xml文件里都单独指定了资源库的url,我需要把这些资源库的url统一指定到nexus本地中央库.手 工一个个改文件配置有点不太实际,所以google了一下,找到批量替换文件内容的好方法,命令结构如下:find -name '要查找的文件名' | xa...
Linux awk工具的优势及教程
最新发布
u011139711的专栏
02-23 878
Linux awk工具详解
[Perl]One-Liner
Technology world
01-01 1717
哦……Perl真的是太博大精深了。尤其是它的One-Liner程序，每一行都是优美的杰作啊。下面搜集了一些很有用的One-Liner。大部分资料来自于这里、这里、这里。 替换将所有C程序中的foo替换成bar，旧文件备份成.bakperl -p -i.bak -e s//bfoo/b/bar/g *.c很强大的功能，特别是在大程序中做
【linux】grep 和【perl】 脚本实现的grep功能的运行时间差异
weixin_33950035的博客
12-04 234
2019独角兽企业重金招聘Python工程师标准>>> ...
perl语言中的AWK之基础篇
weixin_33738982的博客
07-31 686
perl语言中的AWK之基础篇 一:AWK与perl 1.Perl，我们并不陌生了到目前为止，它在web编程中的强大作用，对于每个web开发者而言，重要性不言而喻，由于perl借取了C、sed、awk、shellscripting以及很多其他程序语言的特性。其中最重要的特性是它内部集成了正则表达式的功能，以及巨大的第三方代码库CPAN。简而言之，Perl象...
perl 点点滴滴 当然代替awk和sed
Unicorn
04-28 2284
perl语言的优势在于语法灵活，正则表达式强大。它的缺点其实也在于语法过于灵活，正则强大而复杂。但是用来文本处理工具还是很不错的工具。最近翻了一下《精通正则表达式》，看到几个强大而实用的正则表达式用法：1. 利用 正则中的 环视 操作符来为数字添加分割逗号，例如：35,738,480$num = 35738480;$num =~ s!(?#这个式子主要可以用在统计邮
awk及perl学习笔记
aiqieer2126的博客
03-05 260
注：AWK的正则表达式竟然不支持零宽断言！perl是支持零宽断言的，但是perl中的程序要达到awk的效率需要考虑的问题太多。于是笔者用两次匹配（第一次匹配后再过滤一次）的方法代替零宽断言： awk /$key/'{if($0~/\/\/.*$key|\/\*.*$key|$key.*\*\//) ; else printf("%s:%d: %s\n",FILENAME, FNR, ...
Perl像C一样强大，像awk、sed等脚本描述语言一样方便。
iteye_7332的博客
05-19 347
Perl是由Larry Wall设计的，并由他不断更新和维护的编程语言。 Perl具有高级语言（如C）的强大能力和灵活性。事实上，你将看到，它的许多特性是从C语言中借用来的。 Perl与脚本语言一样，Perl不需要编译器和链接器来运行代码，你要做的只是写出程序并告诉Perl来运行而已。这意味着Perl对于小的编程问题的快速解决方案和为大型事件创建原型来测试潜在的解决方案是十分理想的。 Per...
linux系统，awk，grep，sed
08-13
主要减少linux系统中的查询三剑客grep,awk,sed的使用方法和详解，适合linux初学进行学习，适合在日常对于文本内容或者命令执行结果的搜索，可以完善和简便自己的工作内容和完善对于shell脚本的使用。
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
grep、sed、awk、perl等对正则表达式的支持的差别
11-01
grep、sed、awk、perl等对正则表达式的支持的差别，大牛总结的，适合高手参考用。
shell浅谈之七文本处理工具grep、sed、awk.docx
11-23
Bash Shell提供了功能强大的文件处理工具：sed（流编辑器stream editor）和awk，都可使用正则表达式进行模式匹配。而grep又有助于理解sed和awk。
Shell正则表达式之grep、sed、awk实操笔记
09-15
主要介绍了Shell正则表达式之grep、sed、awk实操笔记,本文使用grep、sed、awk配合正则达到了一些需求和目的,需要的朋友可以参考下
linux中awk的用法
铸剑娃的专栏
11-16 2939
awk的用法 首先我们创建一个要测试的文件test 内容: 1 2 3 9 test:test1 str:d strd 第一个 awk 让我们继续，开始使用 awk，以了解其工作原理。在命令行中输入以下命令： $ awk '{ print }' test 您将会见到 test 文件的内容出现在眼前。现在，解释 awk 做了些什么。调用 awk 时，我们指定 test 作为输入文
利用perl 改写awk统计
zhaoyangjian724的专栏
03-10 636
[root@dwh1 log]# who dwetl pts/0 2015-03-05 16:29 (10.130.136.56) dwetl pts/1 2014-12-12 20:41 (10.129.133.154) dwetl pts/2 2015-03-09 15:57 (10.129.224.28) root pts/
awk是什么？awk工作原理是什么？怎么用awk？
vecloud的博客
10-14 3131
一、awk介绍 1. awk概述awk是一种==编程语言==，主要用于在linux/unix下对==文本和数据==进行处理，是linux/unix下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出。awk的处理文本和数据的方式：==逐行扫描==文件，默认从第一行到最后一行，寻找匹配的==特定模式==的行，并在这些行上进行你想要的操作。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Wein...
用awk获得匹配的正则表达式，完成Perl中的功能
SunnyDay的专栏
04-30 5655
一、问题如下： 有如下文件 [root@localhost ~]# cat file     123a4wk123     123a3wk1234 [root@localhost ~]# 在perl中,可以用“（）”来表示模式内存。   Perl code open(FD,file) or die; while(FD>)
浅析shell+sed+awk和perl和python
weixin_33700350的博客
09-21 137
最近在linux下工作时，越来越觉得迫切需要掌握一门脚本语言，于是开始选择到底学什么？现在比较流行的脚本语言中，perl和python的呼声最大，所以一直不知道该学那一个。今天在网上查了一下，看到这篇博客觉得挺有帮助，故和大家分享一下。原文：shell+sed+awk和perl和python的区别地址：[url]http://blog.csdn.net/annicybc/ar...
awk grep sed
04-11
b'awk grep sed'是三个在Linux和UNIX系统中常用的文本处理工具，用于搜索、匹配和替换文本中的内容，常用于shell脚本和命令行操作中。其中awk是一种用于数据处理和报告生成的语言，grep是用于搜索文本中的特定字符串...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值