最近在linux云服务器,2G RAM 上跑一些Python程序,需要下载csv.gz文件,但文件可能又几百M,很容易导致out of memory错误。
最终采用requests,分块下载,存入文件的防止,解决了问题。
需要在get函数中,将stream设置为True。
f = open(f"filename.gz", "wb")
# chunk是指定每次写入的大小,每次只写了1024byte
for chunk in r.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)hon