requests-爬虫多页爬取肯德基餐厅位置

分页数据的爬取-肯德基餐厅位置信息

1 分析

输入地址后显示的地址和最初的地址一样

说明按下查询按钮发起的是Ajax请求

• 当前页面刷新出来的位置信息一定是通过ajax请求请求到的数据

.基于抓包工具定位到该ajax请求的数据包，从该数据包中捕获到：

• 请求的url
• 请求方式
• 请求携带的参数
• 看到响应数据

最初抓包的时候都是选择的ALL，但是分析出了这里发送的是Ajax请求，所以本次选择Fetch/XHR，这个是专门查看Ajax请求的

打开F12，选择Fetch/XHR，点击查询后查看结果

发现请求方式是post方式

返回值还是json格式

2 爬取到一页数据

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

data = {
    'cname': '',
    'pid': '',
    'keyword': '北京',
    'pageIndex': '1',
    'pageSize': '10',
}
# data参数是post方法中处理参数动态化的参数
response = requests.post(url=url, headers=headers, data=data)
page_text = response.json()

for dic in page_text['Table1']:
    title = dic['storeName']
    addr = dic['addressDetail']
    print(title, addr)

3 爬取多页数据

当点击第二页的时候，发现请求的数据的pageIndex变为了2，点击第三页的时候变为了3。

所以写一个循环就可以爬取所有页面

每次循环只需要改变的是pageIndex参数的值，因为数据要求是字符串类型，所以避免出错给其强制转换一下

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

for page in range(1, 9):
    data = {
        'cname': '',
        'pid': '',
        'keyword': '北京',
        'pageIndex': str(page),
        'pageSize': '10',
    }
    # data参数是post方法中处理参数动态化的参数
    response = requests.post(url=url, headers=headers, data=data)
    page_text = response.json()

    for dic in page_text['Table1']:
        title = dic['storeName']
        addr = dic['addressDetail']
        print('第', page, '页：', title, addr)

关注专栏查看更多详细内容