首先我们先去百度壁纸的这样一个贴吧:https://tieba.baidu.com/p/2772656630
这个贴吧下面有大量的壁纸的图片,我们需要将所有的壁纸图片下载下来,但是里面有很多不是壁纸图片,比如:用户的头像等
所以我们做的爬虫能只抓取壁纸的图片。
爬虫首先需要做的事情就是要确定好你想要爬取数据的对象:
首先,是打开百度主页界面,然后把鼠标移动到主页界面的壁纸上面,点击鼠标右键,然后点击审查元素,即可打开开发者界面。
然后我们通过查询网页源代码会发现壁纸图片的前端代码与其他的不一样:
<img class="BDE_Image>(标签)
开始爬虫
爬虫主要分为两个部分,第一个是网页界面的获取,第二个是网页界面的解析;爬虫的原理是利用代码模拟浏览器访问网站,与浏览器不同的是,爬虫获取到的是网页的源代码,没有了浏览器的翻译效果。
首先,我们进行页面获取,python爬虫的话很多模块包提供给开发者直接抓取网页,urllib,urllib2,requests(urllib3)等等,这里我们使用urllib进行网站页面的获取;首先导入urllib模块包(该包是默认安装的):import urllib
然后在导入python自带的正则表达式re模块
一:我们先读取整个网页的源代码,调用read方法:content = html.read()
运行,得到整个网页源代码
二:提取图片下载到本地
运行得到一个列表——图片地址
设置一个计数器,方便计数
最后整个代码在运行一次,在可视化图片界面操作
这样子图片就被一张一张下载下来了