Python如何爬取不确定页数的网页

详细版本见个人博客：Python如何爬取不确定页数的网页

---

一、问题分析

我们通常遇到的网站页数展现形式有这么几种：

• 第一种是直观地显示所有页数，显示在页面上。
• 第二种是不直观显示网页总页数，需要抓包才可以看到，一般来说会有一个totalPage参数。
• 第三种是不知道具体有多少页的网页。

对于，前两种形式的网页，爬取方法非常简单，使用 For 循环从首页爬到尾页就行了，第三种形式则不适用，因为不知道尾页的页数，所以循环到哪一页结束无法判断。

二、解决方案

这里有两种解决方式：

• 第一种方式：使用 For 循环，尾页的页数设置一个较大的参数，足够循环爬完所有页面。
• 第二种方法：使用 While 循环，可以结合 break 语句，也可以设起始循环判断条件为 True，从头开始循环爬取直到爬完最后一页，然后更改判断条件为 False 跳出循环，结束爬取。

三、实际案例——scrapy实现

1、For循环实现

Scrapy 中使用 For 循环递归爬取的思路非常简单，即先批量生成所有请求的 URL，包括最后无效的 URL，后续在 parse 方法中添加 if 判断过滤无效请求。

由于 Scrapy 依赖于Twisted框架，采用的是异步请求处理方式，可以边发送请求边解析内容，不会被阻塞，但是这种方法会发送很多无用请求。

def start_requests(self):
    url_lists = []
    for i in range(0,500):
        req = scrapy.Request(self.url.format(url_tags = self.tags[0],url_start = 20