requests如何友好地请求下载大文件?requests实现分段下载、断点续传

前言

requests.get()请求一个视频连接链接,如果视频太大怎么办?
requests.get()下载到一半暂停了,想要接着下载怎么办?


requests如何友好地请求下载大文件?

当我们用requests.get()请求某个链接时,如果是大文件,比如下载1GB大小的视频,那该怎么办呢?
在get()方法里面加一个参数stream=True,即:requests.get(url,stream=True)

加 和 不加stream参数的区别:
不加stream参数:
get请求会把所有的数据请求下来,一个视频1个G的话,会把1G的视频下载到内存里面,然后再进一步操作。

加stream参数:
get请求会先建立连接,而不会把content内容或text内容下载到内存里,等开始对content操作的时候,get请求这个时候才开始下载数据。

通常还可以这样分一段一段写入:

import requests
url = ''
r = requests.get(url,stream=True)
with open('filename', 'wb') as fp:
    for item in r.iter_content(10240):
	    # 10240表示每次会写入10240个字节,即10KB
        fp.write(item)

这样就可以友好地下载大文件了,对于下载较大的视频尤其管用。


requests实现断点续传

在requests.get()的请求头headers加上Range字段就可以实现断点续传了。

语法格式如下:

headers = {'Range': 'bytes=%d-%d'%(start,end)}

在%d-%d的位置传入起始字节数终止字节数
例如:

# 从第0个字节下载到第500个字节(包括第500个字节)
headers = {'Range': 'bytes=0-500'}

# 从第501个字节下载到最后一个字节
headers = {'Range': 'bytes=501-'}

尝试用断点续传的方式下载一个图片试试:
找一个图片链接,该图片大小为185KB,即185*1024个字节

先下载前面100KB:

import requests
headers = {'Range': 'bytes=0-%d'%(100*1024)}
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1606242360113&di=6f1e59e7ad5cae73389a44f65c466242&imgtype=0&src=http%3A%2F%2Fb-ssl.duitang.com%2Fuploads%2Fitem%2F201505%2F03%2F20150503152411_JsYLR.jpeg'
r = requests.get(url,headers=headers)
with open('night.jpg', 'wb') as fp:
    fp.write(r.content)

看看只下载了100KB的这张图片:
在这里插入图片描述
接着下载剩下的内容

headers = {'Range': 'bytes=%d-'%(100*1024+1)}
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1606242360113&di=6f1e59e7ad5cae73389a44f65c466242&imgtype=0&src=http%3A%2F%2Fb-ssl.duitang.com%2Fuploads%2Fitem%2F201505%2F03%2F20150503152411_JsYLR.jpeg'
r = requests.get(url,headers=headers)
with open('night.jpg', 'ab') as fp:  # 注意用 'ab'模式打开文件
    fp.write(r.content)

完整图片:
在这里插入图片描述
会不会觉得断点续传也就那样?


总结

  • 友好地下载大文件:requests.get(stream=True)
  • 断点续传:在请求头headers上加入{'Range': 'bytes=%d-%d'}字段
  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值