python-----爬虫抓取百度贴吧图片

   首先我们先去百度壁纸的这样一个贴吧:https://tieba.baidu.com/p/2772656630


这个贴吧下面有大量的壁纸的图片,我们需要将所有的壁纸图片下载下来,但是里面有很多不是壁纸图片,比如:用户的头像等

所以我们做的爬虫能只抓取壁纸的图片。

爬虫首先需要做的事情就是要确定好你想要爬取数据的对象:

首先,是打开百度主页界面,然后把鼠标移动到主页界面的壁纸上面,点击鼠标右键,然后点击审查元素,即可打开开发者界面。



然后我们通过查询网页源代码会发现壁纸图片的前端代码与其他的不一样:

<img class="BDE_Image>(标签)

开始爬虫

爬虫主要分为两个部分,第一个是网页界面的获取,第二个是网页界面的解析;爬虫的原理是利用代码模拟浏览器访问网站,与浏览器不同的是,爬虫获取到的是网页的源代码,没有了浏览器的翻译效果。

首先,我们进行页面获取,python爬虫的话很多模块包提供给开发者直接抓取网页,urllib,urllib2,requests(urllib3)等等,这里我们使用urllib进行网站页面的获取;首先导入urllib模块包(该包是默认安装的):import urllib

然后在导入python自带的正则表达式re模块

一:我们先读取整个网页的源代码,调用read方法:content = html.read()


运行,得到整个网页源代码




二:提取图片下载到本地



运行得到一个列表——图片地址


设置一个计数器,方便计数


最后整个代码在运行一次,在可视化图片界面操作



这样子图片就被一张一张下载下来了



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值