我需要遍历一个30meg的json文件,这是一个只用于文本的大文件。简单使用时。另外,我正在使用来自沃尔玛的提要https://developer.walmartlabs.com/docs/read/Special_Feeds。我不确定是否有人熟悉这件事。在
data = json.loads(open('file.json').read())
print data
我得到这个错误Traceback (most recent call last):
File "/home/python/Desktop/read.py", line 21, in
data = json.loads(open('rolback.json').read())
File "/usr/lib/python2.7/json/__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "/usr/lib/python2.7/json/decoder.py", line 366, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/lib/python2.7/json/decoder.py", line 384, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded
`
我想是因为文件太大了。
我也尝试过流式传输文件,并得到一个内存错误。在
处理这些非常大的文件有什么选择/推荐什么?
这里是一个链接,指向包含文件输出的一些先前的问题。python ijson large file loop to get names