sed,awk ,head截取大文件效率，还是awk强

最新推荐文章于 2023-07-24 13:54:53 发布
最新推荐文章于 2023-07-24 13:54:53 发布
阅读量4.8k 收藏
点赞数
文章标签： file
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/solarium/article/details/5479322
版权
[root@file data1]# time sed -n '31268618,33573328p' design.acl >/dev/null

real    1m15.584s
user    1m6.727s
sys    0m0.880s
[root@file data1]# time awk 'NR>=31268618;NR==33573328{exit}' design.acl >/dev/null

real    0m29.460s
user    0m14.713s
sys    0m0.938s
[root@file data1]# time head -33573328 design.acl | tail -31268618 >/dev/null

real    1m8.819s
user    0m3.761s
sys    0m5.090s

solarium
关注
linux正则表达式awk详解
12-13
awk和sed一样是流式编辑器，它也是针对文档中的行来操作的，一行一行的去执行。awk比sed更加强大，它能做到sed能做到的，同样也能做到sed不能做到的。awk常用来分段； awk不用加任何参数就可以实现 + ? * . | 这些...
linux下sed awk gsub 替换分隔符效率比较
huazicomeon的博客
12-16 2526
同事有个替换分隔符的需求，','替换为'\x01'，文件记录数有2亿+。使用sed处理1000w条数据大约用了10分钟，算下来整个文件处理完要用200分钟，时间过长。记得去掉csv文件每行记录的最后一个字段时awk处理要比sed快很多，于是尝试使用awk来替换分隔符，经过测试效率能够提高5-6倍，在此记录一下。 一、对一个200w+的文件处理，每行有6个字段 1、使用sed处理（用时76s...
linux head命令（head指令）（获取文件或管道输出结果前n行，默认前10行）与sed命令区别
Dontla的博客
02-11 1850
head命令是一个在Linux系统中常用的命令，用于读取文件的前几行（默认读取前10行）
grep、tail、awk和sed等命令来处理文本文件，实现不同的需求
最新发布
weixin_54104864的博客
07-24 145
这些参数使得grep、tail、awk和sed成为非常强大的文本处理工具，可以在日志分析、数据处理和文本搜索等方面发挥重要作用。使用这些参数，我们可以根据实际需求进行灵活的文本处理操作，从而提高工作效率。不过，需要注意的是，在处理大型文件时，尽量避免直接修改文件内容，以免造成数据丢失。在Linux系统中，可以使用grep、tail、awk和sed等命令来处理文本文件，实现不同的需求。以下将进一步介绍这些工具的常用参数，让我们更深入地了解它们的功能和用法。这样可以只查看文件的第5行到第10行。
linux命令—awk（二）
liwenqianye的博客
07-05 1415
因为awk处理文件是一行一行的处理，所以当内存空间不足时awk可以处理大文件，而cat命令不能处理一个超过内存大小的文件，因为cat是一次性全部读取文件里面的内容。下面用实验证明这个结论：free 查看内存使用的命令 -m 以M为单位显示内存的使用情况 -h 以人类能够读的懂的格式显示 B = bytes K = kilos M = megas G = gigas T = teras P = petas 一个新的进程它可以使用的内存的空间=free + buff和cache里的可用缓存的使用空间，可以
提升工作效率1000%之Linux三剑客（grep、sed、awk）
Maynor的博客
11-02 580
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。RS：输入记录分隔符；注意：以上都是内置变量，在引用时不需要前面加$，每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。下面所说的是Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。算术操作符：x+y, x-y, x*y, x/y, x^y, x%y。
linux 截断文件,【linux】如何高效安全地从一个大文件中截取部分信息
weixin_39639505的博客
04-29 2247
下午的时候有个同学问：他们服务器有一个5G的日志文件，如何从中截取出10.5-11.18的日志另一个文件日志文件有规范的时期格式，类似于web服务器日志。相关问题：对于cat grep这类linux命令，如果操作一个大文件会不会占用很大的内存？回答用sed好了，sed是按行处理的，不会将整个文件加载到内存中，可以放心使用要切出从2012-02-09到2012-09-10的所有数据行，(假设你的日志...
shell中常见命令与awk,sed的等价命令
02-23
### shell中常见命令与awk, sed的等价命令详解 #### 一、基本概念与工具简介 在Linux或Unix环境中，shell脚本是自动化任务处理的重要手段之一。shell提供了丰富的命令来实现各种功能，而`awk`和`sede`则是其中两个...
Linux文本处理命令合集
11-19
- `awk`以逐行的形式处理文件，首先执行`BEGIN`语句块，然后循环读取每一行执行`pattern`语句块，最后执行`END`语句块。 - 基本选项：`awk`还支持各种选项来增强其功能，如`-F`用于指定字段分隔符等。
sh代码-截取命令结果/后面字符
07-16
标题和描述中提到的“sh代码-截取命令结果/后面字符”是指在Linux或Unix环境中，通过Shell脚本（`.sh`文件）来截取命令执行后输出的文本字符串，通常是为了提取特定信息或进行进一步的处理。在这个场景下，我们主要...
AWK文件处理总结
10-27
awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理awk文本的处理
Linux sed 命令高效文本操作
黄飞的博客专栏
06-16 958
Linux 下的 sed 命令功能十分强大，能够完美地配合正则表达式使用，灵活巧妙地利用sed命令，可以极大地提高工作效率。 sed 的用法非常多，不可能一一枚举，本文仅针对个人实践过程中比较常见的几个功能作简要介绍。 1.替换操作 直接编辑文件选项 -i，会把 file 文件中每一行第一个匹配项替换为指定项： sed -i 's/pen/pencil/' file 其中，s 表示替...
通过sed来查看日志的某个时间段
lzz313的学习轨迹
07-20 6069
功能： 查看日志的某个时间段 脚本： cat logs.log | sed -n '/11:00:00/,/14:18:12/ p'|more 分析： sed查看log时间段(sed -n '/开始/,/结束/p' p是打印出来，d是删除)
linux sed 慢,linux – awk,tail,sed或者其他 – 对于大文件哪一个更快？
weixin_29309213的博客
05-25 570
我有大日志文件的脚本.我可以查看所有行,并使用tail和awk做一些事情.尾巴：tail -n +$startline $LOGAWK：awk 'NR>='"$startline"' {print}' $LOG并检查时间,尾部工作6分39秒,awk工作6分42秒.所以两个命令做同样的事情/同一时间.我不知道怎么做sed. Sed可以比tail和awk更快吗？或者也许是其他命令.第二个问题,我...
awk和sed字符串处理速度比较与处理速度的测试方法
weixin_33985679的博客
10-21 408
坚持不是胜利，坚持住才是胜利。问题：比如现在有一需求，提取某个配置文件里面的ip地址，能立刻想到的就是根据字符串的规律合理的利用awk和sed来操作。应用场景：做一套软件时，某个配置文件需要批量填写或更改已经填写好了的默认IP地址等信息（尽管在填写时IP地址可以简单的从某些文件或变量中获得，例如在Linux（CentOS6）等平台中可以借助source network congfig文件的方式）。...
linux awk 效率,linux统计大文件行数的命令效率大对比,牛掰的awk 'END{print NR}' file...
weixin_33445930的博客
05-27 465
[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1116570real 0m2.535suser 0m1.499ssys 0m1.093s[Adm...
linux sed 慢,如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
weixin_29491259的博客
05-25 1357
你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个16核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。但是“如何我能使用这些CPU核心”?要想让Linux命令使用所有的CPU核心，我们需要用到GNU Parallel...
shell 脚本实现行处理（sed、head、tail）
adayan_2015的博客
07-23 8013
文本的行处理，在文本处理中至关重要，现遇到问题，去除文本末尾2行的数据。现将其相关的行处理方法，做简单的总结： sed实现显示行： sed -n '1'p filename   // 显示filename第一行 sed -n '$'p filename   // 显示filename最后一行 sed -n '1,3'p filename  // 显示filename的第1行至第3行 sed -n...
linux文件截取前几行，后几行，中间几行命令
热门推荐
积硅步以致千里
02-11 10万+
1. 如果你只想看文件的前100行，可以使用head命令，如： head -100  filename 2. 如果你想查看文件的后100行，可以使用tail命令，如： tail -100  filename 或 tail -n 100  filename 3. 查看文件中间一段，你可以使用sed命令，如： sed -n '100,200p' filename  这样你就可以
Linux Shell脚本必会命令及sed、awk应用实例
- **awk**：用于从文本文件中提取和处理数据，通过指定分隔符如`-F,`来解析字段，如`cat a.txt | awk -F, '{print $1 "," $3}'`，显示第1和第3列。 最后，脚本是Shell编程的重要组成部分，通过将常用命令组合在文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值