python爬图片_python爬取图片,保存图片到本地

1

首先要爬取图片,我们先要把网站上面的html请求数据拉取下来,看看请求返回的内容是什么,我们就需要用到网络请求,这里直接使用简单的urllib2来实现,有的网站请求,可能设置了验证,我们需要模拟请求头,打开浏览器,f12查看network,可以看到我们网络请求的请求头,主要是User-Agent

604e9556ad042e68ba50c95585f85856d43dd10d.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

2

找到User-Agent,将值,复制添加到我们的urllib2的addheader,

编写get_html获取到网页的基础html,然后就是解析html

0fb94656d53da8246b505466306651598440cb0d.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

3

解析之前,我们首先需要了解到这个网页图片保存在哪个元素下面,找到对应的元素,我们进行对应的解析,操作浏览器,f12打开开发者工具,首先点击elements,然后选择箭头,指向对应我们想找的页面元素,然后我们就会直接看到他属于哪个标签元素了,具体操作步骤如下图

ba274f598540102abd5ba616b142a07aa110c50d.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

4

然后,我们可以观察到,具体图片在img标签下面的src,

a31e1214c27bd282403039f23cb1eef97ebd3612.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

5

然后我们就是获取标签img,获取标签页面元素可以通过正则表达式和BeautifulSoup方便的类库来实现,可以参考下面经验

7efc527c34b33c41fd034bf5887de137c8762e12.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

6

由于我们找出的是别人的html,所以我们需要做下基本的判断,判断img是否包含src这个key,否则可能引起异常,这篇文章是简单的获取图片地址,对于相对的路径拼接图片地址没有,所以做了下http开头的判断

23fd63c5cf672b5f02ff9d223314f4d0b4032712.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

7

找到了图片url地址,然后就是讲他保存到本地了,使用简单的urllib.urlretrieve,实现保存到本地,如下图

c99358fe474ec283d306a35bbe4f50b8b53e1c12.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

8

接下来看下完整的代码,然后我们直接运行,就可以看到结果了

a99a494afa32939cc54e47065719ce2c5a1b1512.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

9

然后我们到D盘的pic目录下面,我们就可以看到我们爬取出来的图片啦

5a5a00def4dca039e2a6565858d96975f3c40d12.jpg?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_500%2Climit_1

END

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值