上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地。
思路如下:
我们本次要爬取的是昵图网首页的图片。
1、首先分析我们要爬取的网页的代码结构,每个网页的代码结构都不大一样,所以要做好分析。
我们进入昵图网的首页,http://www.nipic.com/index.html
按F12开启浏览器的调试模式,可以通过鼠标看到图片的后台代码:点击调试的小箭头,然后点击对应的图片,既可以看到图片在页面上对应的编码。
或者,直接“查看源代码”就可以看到整个网页的源码
我们可以在源代码界面看到很多.jpg结尾的图片
我们可以直接通过查找来查看到底有多少张图片在页面上,我本次用的是360浏览器,每个浏览器的使用方法大同小异。
查找的快捷方式是Ctrl+F 同时按住两个按键就可以在提示框中输入查找的信息。
或者右击菜单“查找”
在关键词框中输入".jpg"
我们可以看到,系统提示是14张图片的链接。
2、编写代码,获取网页的图片,首先我们要这个页面的图片的大体格式是怎样的。
我们看下几个图片链接的代码格式:
上面三张图片的格式都是常见的:http://.......jpg,则我们可以把这个做成正则表达式的形式如:http:\S{1,}.jpg
则,我们利用前面两讲的代码,编写如下:
3、效果如下:
点击运行后,系统自动在D盘的image文件夹下载对应的图片
最终下载完后:
最后,其实你网速快的话,程序不设置休眠也可以。
最后,总结下我们本次用到的新知识:
1、函数:urllib.urlretrieve(url[, filename[, reporthook[, data]]])
函数说明
将URL表示的网络对象复制到本地文件。如果URL指向本地文件,则对象将不会被复制,除非提供文件名。返回一个元组()(filename,header),其中filename是可以找到对象的本地文件名,header是urlopen()返回的对象的info()方法(用于远程对象)。
第二个参数(如果存在)指定要复制到的文件位置(如果没有,该位置将是一个生成名称的tempfile)。第三个参数,如果存在,则是一个回调函数,它将在建立网络连接时调用一次,并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数,以字节为单位的块大小,以及文件的总大小。第三个参数可能是-1,在旧的FTP服务器上,它不返回文件大小以响应检索请求。
参数说明:
url:外部或者本地url
filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);
reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。
2、time.sleep(secs)
Python time sleep() 函数推迟调用线程的运行,可通过参数secs指秒数,表示进程挂起的时间。
3、os.makedirs()函数
语法格式:
os.makedirs(name[, mode=0o777][, exist_ok=False])
递归目录创建函数,和mkdir()很像,但是所有中间级目录都要包含叶目录。
递归创建目录,题中应有之意即路径中哪一层不存在,则自动创建。
区别于os.mkdir(path, mode=0o777, *, dir_fd=None),只创建最后一层的目录。
name:所要创建的目录
参数mode表示权限;
如果exist_ok是False(默认),当目标目录(即要创建的目录)已经存在,会抛出一个OSError。
4、b=a.split('/')[-1]
我们不确定图片链接的长度,所以如果从左边开始取下标,则最后一个文件名的下标值是不一样的,不好操作,但是如果写的是-1,则说明要取得是右边第一个。
本节课没有课堂视频,因为新的教室没有带多余的麦克风。