python处理大文本文件_通过lin处理非常大(>20GB)的文本文件行

我有很多非常大的文本文件需要处理,最大的大约60GB。

每行在七个字段中有54个字符,我想删除前三个字段中的最后三个字符,这将使文件大小减少大约20%。

我是Python的新手,我有一个代码可以以每小时3.4gb的速度完成我想做的事情,但是要成为一个有价值的练习,我真的需要达到至少10gb/hr的速度-有没有办法加快速度?这段代码并没有挑战我的处理器,所以我猜测它受到内部硬盘读写速度的限制?def ProcessLargeTextFile():

r = open("filepath", "r")

w = open("filepath", "w")

l = r.readline()

while l:

x = l.split(' ')[0]

y = l.split(' ')[1]

z = l.split(' ')[2]

w.write(l.replace(x,x[:-3]).replace(y,y[:-3]).replace(z,z[:-3]))

l = r.readline()

r.close()

w.close()

任何帮助都将不胜感激。我在Windows7上使用的是闲置的Python图形用户界面,并且有16GB的内存——也许换一个操作系统会更有效?。

编辑:这是要处理的文件的摘录。70700.642014 31207.277115 -0.054123 -1585 255 255 255

70512.301468 31227.990799 -0.255600 -1655 155 158 158

70515.727097 31223.828659 -0.066727 -1734 191 187 180

70566.756699 31217.065598 -0.205673 -1727 254 255 255

70566.695938 31218.030807 -0.047928 -1689 249 251 249

70536.117874 31227.837662 -0.033096 -1548 251 252 252

70536.773270 31212.970322 -0.115891 -1434 155 158 163

70533.530777 31215.270828 -0.154770 -1550 148 152 156

70533.555923 31215.341599 -0.138809 -1480 150 154 158

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值