import os
import pathlib
import urllib
import urllib.request
if item['pic'] != "无图片":
file_name = str(newsID)
fname = time.strftime("%Y%m%d", time.localtime())
filepath = r"C:/Users/张学友/Desktop/TaipeiPIC/" + fname #按照日期分图片
if not os.path.exists(filepath):
os.mkdir(filepath)
picpath = filepath + '/%s.jpg' % file_name
p = pathlib.Path(picpath)
if not p.exists():
urllib.request.urlretrieve(item['pic'], picpath)
print(picpath, "download completed")
else:
print(picpath, "been completed")
#其中关于urllib模块下的urlretrieve()函数
函数说明
urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)
将URL表示的网络对象复制到本地文件。如果URL指向本地文件,则对象将不会被复制,除非提供文件名。返回一个元组()(filename,header),其中filename是可以找到对象的本地文件名,header是urlopen()返回的对象的info()方法(用于远程对象)。
第二个参数(如果存在)指定要复制到的文件位置(如果没有,该位置将是一个生成名称的tempfile)。第三个参数,如果存在,则是一个回调函数,它将在建立网络连接时调用一次,并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数,以字节为单位的块大小,以及文件的总大小。第三个参数可能是-1,在旧的FTP服务器上,它不返回文件大小以响应检索请求。
参数说明
url:外部或者本地url
filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);
reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。 (此函数说明部分转载自https://blog.csdn.net/pursuit_zhangyu/article/details/80556275)