python爬取分页数据_爬虫抓取分页数据的简单实现

昨天，我们已经利用Jsoup技术实现了一个简单的爬虫，原理很简单，主要是要先分析页面，拿到条件，然后就去匹配url，采用dome解析的方式循环抓取我们需要的数据，从而即可轻松实现一个简单的爬虫。那么，昨天我们说了，我们昨天只是爬取了一页的数据也就是第一页的数据，若想获取分页的全部数据该怎么写呢？正好，今天朋友托我帮忙买一种药，说是她那边没有，于是，我就查询了一下佛山的各大药店，利用我们刚学的爬虫技术，我们今天就来实现一下爱帮网上佛山药店的分布列表。

一、需求分析

首先，我们登陆爱帮网，选择城区以及输入关键字，我们输入的是“药店”，点击搜索按钮，我们打开控制台，观察头信息，如下图：

我们通过观察可以看到请求的url地址以及参数；其实直接看地址栏就可以看得出来，我们点击第二页发现其他参数都不变，只有参数p的值随页码的变化而变化。那么，这样以来，我们就可以知道每一页的请求地址其实都是一样的，只要改变p的值即可，然后我们看页面总页数只有8页，数据量不大，写个循环循环8次即可。下面我们就来开始实现，依然在昨天的代码的基础上改一改即可。

二、开发

1、我们首先需要改一下我们的业务实现类，因为取值的方式已经不一样了，如下图：