文 | 某某白米饭
来源:Python 技术「ID: pythonall」
本文档介绍了 Python 下载文件的各种方式,从下载简单的小文件到用断点续传的方式下载大文件。
Requests
使用 Requests 模块的 get 方法从一个 url 上下载文件,在 python 爬虫中经常使用它下载简单的网页内容
import requests
# 图片来自bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def requests_download():
content = requests.get(url).content
with open('pic_requests.jpg', 'wb') as file:
file.write(content)
urllib
使用 python 内置的 urllib 模块的 urlretrieve 方法直接将 url 请求保存成文件
from urllib import request
# 图片来自bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def urllib_download():
request.urlretrieve(url, 'pic_urllib.jpg')
urllib3
urllib3 是一个用于 Http 客户端的 Python 模块,它使用连接池对网络进行请求访问
def urllib3_download():
# 创建一个连接池
poolManager = urllib3.P