python 3 爬虫之下载文件的三种方法，zipfile 下载文件提示 BadZipFile: File is not a zip file

第一种方法：urlretrieve方法下载

第二种方法：request download

第三种方法：视频文件、大型文件下载

第一种方法：urlretrieve方法下载

程序示例：

   

import os

from urllib.request import urlretrieve

image_url = "https://p0.ssl.qhimg.com/t01e890e06c93018fa8.jpg"

urlretrieve(image_url,'./img1/image1.png') #将什么文件存放到什么位置

 

第二种方法：request download

程序示例：

import requests

image_url='https://p0.ssl.qhimg.com/t01e890e06c93018fa8.jpg'

r = requests.get(image_url)

with open('./img1/image1.png','wb') as f:

f.write(r.content)

用 with open  下载目前可能有个缺陷，正常有电脑的第三方压缩软件，等可以进行解压，但是用Python 的 zipfile工具，进行去解压zip(with open 下载的zip) 会报错 提示 BadZipFile: File is not a zip file ，这里可以建议用第一种下载方式下载zip

 

第三种方法：视频文件、大型文件下载

可以设置每次存储文件的大小，所以可以下载大型文件，当然也可以下载小文件。

程序示例：

默认情况下是stream的值为false，它会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况．
当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。

import requests

r = requests.get(url_file, stream=True)
f = open("file_path", "wb")
for chunk in r.iter_content(chunk_size=512):
     if chunk:
        f.write(chunk)

上面的代码表示请求了url_file，这个url_file是一个大文件,所以开启了stream模式，然后通过迭代r对象的iter_content方法，同时指定chunk_size=512（即每次读取512个字节）来进行读取。但是如果仅仅是迭代是不行，如果下载中途出现问题我们之前的努力就白费了，所以我们需要做到一个断点续传的功能。

 

如果对你有帮助，点个关注呗！