如何用python最快的获取大文件的最后几行

        工作中经常会遇到处理日志文件的问题:为了得到日志的最新状态,我们需要获取日志文件的最后部分行来做判断。那么,这种情况下我们应该怎么做呢?

         1)常规方法:从前往后依次读取

              步骤:open打开日志文件。

                          读取文件,获取文件的总行数。

                          遍历所有行,提取指定行的数据。

              优点:简单,方便

              缺点:当文件大了以后时间太慢,无法忍受

         2)推荐方法:

               步骤:open打开日志文件。

                          移动文件读取指针到文件末尾。

                          从后往前移动指针直到合适的位置。

                          读取文件,提取指定行的数据。

              优点:时间相对固定,适合处理大文件

         示例:

    logFile = open('logFilePath.log', 'r')
    logFile.seek(0,2)
    logFile.seek(-1000000,2)
    rowCount = 0
    for row in logFile.readlines()[1:]:
         pass


 seek():移动文件读取指针到指定位置

tell():返回文件读取指针的位置

seek()的三种模式:

    (1)f.seek(p,0)  移动当文件第p个字节处,绝对位置

    (2)f.seek(p,1)  移动到相对于当前位置之后的p个字节

    (3)f.seek(p,2)  移动到相对文章尾之后的p个字节


转载于:https://www.cnblogs.com/chenjianhong/p/4144471.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值