yield python 文件读取_我如何懒惰地从Python中的文件/流中读取多...

这是一个更简单,更简单的解决方案.秘诀是尝试,失败并使用异常中的信息进行正确解析.唯一的限制是文件必须是可搜索的.

def stream_read_json(fn):

import json

start_pos = 0

with open(fn, 'r') as f:

while True:

try:

obj = json.load(f)

yield obj

return

except json.JSONDecodeError as e:

f.seek(start_pos)

json_str = f.read(e.pos)

obj = json.loads(json_str)

start_pos += e.pos

yield obj

编辑:只是注意到这只适用于Python> = 3.5.对于早期,失败返回ValueError,您必须从字符串中解析出位置,例如

def stream_read_json(fn):

import json

import re

start_pos = 0

with open(fn, 'r') as f:

while True:

try:

obj = json.load(f)

yield obj

return

except ValueError as e:

f.seek(start_pos)

end_pos = int(re.match('Extra data: line \d+ column \d+ .*\(char (\d+).*\)',

e.args[0]).groups()[0])

json_str = f.read(end_pos)

obj = json.loads(json_str)

start_pos += end_pos

yield obj

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值