python爬虫获取肯德基门店信息

python爬虫获取肯德基门店信息

1.在谷歌浏览器中打开肯德基官网，进入餐厅查询页面

2.在搜索框中输入地区并按f12打开开发者工具

发现已经抓取到了一条Ajax请求，可以从中获取请求的url，以及User-Agent

3.打开payload，这里有我们需要配置的params

4.编写代码，以及实现效果

生成了一个含有地区门店信息的json文件

全部源码

import requests
import json
url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx'
kw = input('enter address：')
param = {
'cname': '',
'pid': '',
'keyword': kw,
'pageIndex': '1', #开始的页数
'pageSize': '10' #每页几条数据
}
header
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}
response = requests.get(url=url,params=param,headers=headers)
list_data = response.json()
fileName = kw+'.json'
fp=open(fileName,'w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)
print('over!')