python urlretrieve登录下载_使用python urlretrieve下载文件

urlretrieve()方法直接将远程数据下载到本地。urlretrieve()是python urllib下的一个函数，python3已经将urlretrieve()移到urllib.request下了，使用时需要注意。

urlretrieve(url, filename=None, reporthook=None, data=None):

url：下载链接地址

filename：指定保存本地路径

reporthook：回调函数，可以利用其来显示当前的下载进度。

data：返回一个包含两个元素的(filename, headers) 元组，filename 表示保存到本地的路径，header表示服务器的响应头

下面以下载cifar-10数据集为例，理解urlretrieve的用法：

from urllib.request import urlretrieve

import os

def download(url, savepath='./'):

"""

download file from internet

:param url: path to download from

:param savepath: path to save files

:return: None

"""

def reporthook(a, b, c):

"""

显示下载进度

:param a: 已经下载的数据块

:param b: 数据块的大小

:param c: 远程文件大小

:return: None

"""

print("\rdownloading: %5.1f%%" % (a * b * 100.0 / c), end="")

filename = os.path.basename(url)

# 判断文件是否存在，如果不存在则下载

if not os.path.isfile(os.path.join(savepath, filename)):

print('Downloading data from %s' % url)

urlretrieve(url, os.path.join(savepath, filename), reporthook=reporthook)

print('\nDownload finished!')

else:

print('File already exsits!')

# 获取文件大小

filesize = os.path.getsize(os.path.join(savepath, filename))

# 文件大小默认以Bytes计， 转换为Mb

print('File size = %.2f Mb' % (filesize/1024/1024))

if __name__ == '__main__':

# 以下载cifar-10数据集为例

url = "https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz"

download(url, savepath='./')

当指定文件夹下不存在待下载文件时，执行下载：

Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

downloading: 100.0%

Download finished!

File size = 162.60 Mb

当指定文件夹下已存在待下载文件同名文件，则不执行下载：

File already exsits!

File size = 162.60 Mb