1.前述
下载大型文件时,我们一般都是这样下载的
import requests
url = ""
r = requests.get(url)
with open('1.mp4', 'wb') as f:
f.write(r.content)
这样下载大型文件时存在一个问题,那就是内存使用量迅速上升,可能会造成电脑卡死。所以我们需要换一个方式进行下载
2.流下载
我们可以使用文本流进行下载.
在requests模块中有一个这样的方法Response.iter_content()
Response响应对象的一个方法
iter_content(chunk_size=1, decode_unicode=False)
在响应数据上进行重做。当
stream=True
设置在请求上时,这可以避免立即将内容读入内存以获得大响应。块大小是它应该读入内存的字节数。这不一定是每个返回的项目的长度,因为解码可以进行。
chunk_size
必须是类型int
或None
。值为None
时会因stream
的值而异。stream-True
将读取数据的字块大小与接收的区块相同。如果stream=False
,则数据将作为单个块返回。如果
decode_unicode
设置为真,响应内容将根据使用最佳编码进行解码。
需要在get
请求上设置参数stream
为True
,它不会立即开始下载,当使用iter_content
遍历内容或访问内容属性时才开始下载。
代码实现:
url = ""
r = requests.get(url, headers=header, stream=True)
with open('1.mp4', "wb") as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)