使用requests库获得动态网页数据

最新推荐文章于 2024-02-23 14:41:45 发布

小马-向前冲

最新推荐文章于 2024-02-23 14:41:45 发布

阅读量267

点赞数

分类专栏：数据采集文章标签： python 爬虫 Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_62383575/article/details/128520536

版权

数据采集专栏收录该内容

2 篇文章 0 订阅

订阅专栏

任务描述：

使用requests的post爬取肯德基官网站餐厅查询中，获取某个城市的肯德基餐厅地址，以济南为例。

注意：1.考虑翻页2.写文件是追加。

任务实现：

import requests

url ='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}

for page in range(0, 10):
    page = str(page)#转换成字符串
    data = {'cname': '',
           'pid':'',
           'keyword': '济南',
           'pageIndex': page,
           'pageSize': '10'}
    response = requests.post(url, data=data, headers=headers)
    text = response.text
    with open('济南肯德基.html', 'a') as f:
        f.write(text)
print('over')

存储结果：