python爬取一张图片并保存_第九讲:Python爬取网页图片并保存到本地

上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地。

思路如下:

我们本次要爬取的是昵图网首页的图片。

1、首先分析我们要爬取的网页的代码结构,每个网页的代码结构都不大一样,所以要做好分析。

我们进入昵图网的首页,http://www.nipic.com/index.html

按F12开启浏览器的调试模式,可以通过鼠标看到图片的后台代码:点击调试的小箭头,然后点击对应的图片,既可以看到图片在页面上对应的编码。

44b856cd4c9b6efcad2931b3135c0007454.jpg

或者,直接“查看源代码”就可以看到整个网页的源码

54dff5f7180db526254af8ed4efc8f7ad11.jpg

我们可以在源代码界面看到很多.jpg结尾的图片

8589134c4482061194c2bc98f01c3397403.jpg

我们可以直接通过查找来查看到底有多少张图片在页面上,我本次用的是360浏览器,每个浏览器的使用方法大同小异。

查找的快捷方式是Ctrl+F 同时按住两个按键就可以在提示框中输入查找的信息。

或者右击菜单“查找”

0a936eef4c8038788b75b44e0e31201c389.jpg

在关键词框中输入".jpg"

28398f2b70d56bc167bdaeebd9e4a26c411.jpg

我们可以看到,系统提示是14张图片的链接。

2、编写代码,获取网页的图片,首先我们要这个页面的图片的大体格式是怎样的。

我们看下几个图片链接的代码格式:

8e2c5299df1b1d86d25c2dff4ab35e09603.jpg

上面三张图片的格式都是常见的:http://.......jpg,则我们可以把这个做成正则表达式的形式如:http:\S{1,}.jpg

则,我们利用前面两讲的代码,编写如下:

f8b6c93ead65150749ffcd0ebeb14c8b7e0.jpg

3、效果如下:

点击运行后,系统自动在D盘的image文件夹下载对应的图片

5701fee2b4ce1ceac5676fed181ffc5ba54.jpg

最终下载完后:

6df9b1ba38ac7fefa36065f8ebcba2809e8.jpg

最后,其实你网速快的话,程序不设置休眠也可以。

最后,总结下我们本次用到的新知识:

1、函数:urllib.urlretrieve(url[, filename[, reporthook[, data]]])

函数说明

将URL表示的网络对象复制到本地文件。如果URL指向本地文件,则对象将不会被复制,除非提供文件名。返回一个元组()(filename,header),其中filename是可以找到对象的本地文件名,header是urlopen()返回的对象的info()方法(用于远程对象)。

第二个参数(如果存在)指定要复制到的文件位置(如果没有,该位置将是一个生成名称的tempfile)。第三个参数,如果存在,则是一个回调函数,它将在建立网络连接时调用一次,并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数,以字节为单位的块大小,以及文件的总大小。第三个参数可能是-1,在旧的FTP服务器上,它不返回文件大小以响应检索请求。

参数说明:

url:外部或者本地url

filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);

reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。

data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。

2、time.sleep(secs)

Python time sleep() 函数推迟调用线程的运行,可通过参数secs指秒数,表示进程挂起的时间。

3、os.makedirs()函数

语法格式:

os.makedirs(name[, mode=0o777][, exist_ok=False])

递归目录创建函数,和mkdir()很像,但是所有中间级目录都要包含叶目录。

递归创建目录,题中应有之意即路径中哪一层不存在,则自动创建。

区别于os.mkdir(path, mode=0o777, *, dir_fd=None),只创建最后一层的目录。

name:所要创建的目录

参数mode表示权限;

如果exist_ok是False(默认),当目标目录(即要创建的目录)已经存在,会抛出一个OSError。

4、b=a.split('/')[-1]

我们不确定图片链接的长度,所以如果从左边开始取下标,则最后一个文件名的下标值是不一样的,不好操作,但是如果写的是-1,则说明要取得是右边第一个。

235d093064e7ba338ffdad248dfb6b04b8d.jpg

本节课没有课堂视频,因为新的教室没有带多余的麦克风。

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2021 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值