声名:本文为学习笔记,内容来自于《python 网络数据采集》(英文名:Web Scraping with Python)
存储媒体文件有两种主要方式:只获取URL链接,或者直接把源文件下载下来。如果,文件需要多次使用,那么最好下载下来。
以下载图片为例,在Python 3.x 版本中,urllib.request.urlretrieve可以根据文件的URL下载文件:
from urllib.request import urlretrieve
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com")
bsObj = BeautifulSoup(html)
imageLocation = bsObj.find("a", {"id": "logo"}).find("img")["src"]
urlretrieve(imageLocation, "logo.jpg")
这段程序是从http://pythonscraping.com下载logo图片,然后在程序运行的文件夹里保存为logo.jpg文件。