爬虫中常见的分页结构

当使用Python爬虫时，经常会遇到需要爬取分页数据的情况。分页逻辑可以有多种形式，下面我将介绍一些常见的分页逻辑以及对应的解决方法。

1. 基于页码（Page-based Pagination）：
   这是最常见的分页逻辑，每个页面都有一个唯一的页码。通常在URL中会包含页码参数，例如：http://example.com/page?=1。
   解决方法：
   可以通过循环迭代的方式，逐页爬取数据。可以使用Python的requests库发送HTTP请求，然后解析返回的HTML内容，提取需要的数据。

import requests

def get_data(page):
    url = f"http://example.com/api/data?page={page}"
    response = requests.get(url)
    data = response.json()
    return data

all_data = []
page = 1
while True:
    data = get_data(page)
    if not data:
        break
    all_data.extend(data)
    page += 1

print(all_data)

2. 基于偏移量（Offset-based Pagination）：
   在偏移量分页逻辑中，每个页面都有一个唯一的偏移量，表示从数据集的起始位置开始的偏移量。
   解决方法：
   可以通过循环迭代的方式，每次请求时指定正确的偏移量参数，以获取下一页数据。可以使用Python的requests库发送HT