import urllib.request import urllib.parse def url(page): url=' http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname' data={ 'cname': '北京', 'pid':'', 'pageIndex':page, 'pageSize': 10 } data=urllib.parse.urlencode(data).encode('utf-8') headers = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Mobile Safari/537.36 Edg/94.0.992.50' } reques=urllib.request.Request(url=url,headers=headers,data=data) return reques def get_content(reques): response=urllib.request.urlopen(reques) content=response.read().decode('utf-8') return content def down_lode(page,content): with open('kdj'+str(page)+'.json','w',encoding='utf-8') as fp: fp.write(content) if __name__=='__main__': qishi=int(input('请输入起始页面:')) zzhi=int(input('请输入终止界面')) for page in range(qishi,zzhi): #请求对象的定制 reques=url(page) #获取网页源码 content=get_content(reques) # 下载 down_lode(page,content)
PyCharm爬取肯德基某个地区的所有店面
最新推荐文章于 2024-08-10 10:46:00 发布
该代码段展示了一个Python脚本,用于从KFC官网抓取指定城市(如北京)的门店列表。它利用`urllib`库进行HTTP请求,通过设置参数和User-Agent头来伪装浏览器行为,获取JSON格式的门店数据,并将结果保存到本地文件中。
摘要由CSDN通过智能技术生成