linux 大文件sed,linux – awk,tail,sed或者其他 – 对于大文件哪一个更快?

博主探讨了如何加速处理大日志文件的方法,比较了`tail`和`awk`的性能,并提出疑问是否`sed`能更快。目前的脚本在开始处理时会从上一次保存的行号开始,但随着文件增大,这种方法变得效率低下。寻求更快的解决方案,可能涉及更有效的行定位或使用其他命令。
摘要由CSDN通过智能技术生成

我有大日志文件的脚本.我可以查看所有行,并使用tail和awk做一些事情.

尾巴:

tail -n +$startline $LOG

AWK:

awk 'NR>='"$startline"' {print}' $LOG

并检查时间,尾部工作6分39秒,awk工作6分42秒.所以两个命令做同样的事情/同一时间.

我不知道怎么做sed. Sed可以比tail和awk更快吗?或者也许是其他命令.

第二个问题,我使用$startline,每次继续从最后一行继续.例如:

我使用脚本行:

10:00AM -> ./script -> $startline=1 and do something -> write line number to save file(for ex. 25),10:05AM -> ./script -> $startline=26(read save file +1) and do something -> write line number save file(55),10:10AM -> ./script -> $startline=56(read save file +1) and do something ....

但是当脚本运行时,检查所有行,何时看到$startline,做某事.由于文件庞大,它有点慢.

对它的任何建议都会更快?

脚本示例:

lastline=$(tail -1 "line.save")

startline=$(($lastline + 1))

tail -n +$startline $LOG | while read -r

do

....

done

linecount=$(wc -l "$LOG" | awk '{print $1}')

echo $linecount >> line.save

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值