PyCharm爬取肯德基某个地区的所有店面

该代码段展示了一个Python脚本,用于从KFC官网抓取指定城市(如北京)的门店列表。它利用`urllib`库进行HTTP请求,通过设置参数和User-Agent头来伪装浏览器行为,获取JSON格式的门店数据,并将结果保存到本地文件中。
摘要由CSDN通过智能技术生成
import urllib.request
import urllib.parse


def url(page):
    url=' http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'


    data={
        'cname': '北京',
        'pid':'',
        'pageIndex':page,
        'pageSize': 10
    }

    data=urllib.parse.urlencode(data).encode('utf-8')

    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Mobile Safari/537.36 Edg/94.0.992.50'
    }

    reques=urllib.request.Request(url=url,headers=headers,data=data)

    return reques

def get_content(reques):
    response=urllib.request.urlopen(reques)
    content=response.read().decode('utf-8')
    return content


def down_lode(page,content):
    with open('kdj'+str(page)+'.json','w',encoding='utf-8') as fp:
        fp.write(content)

if __name__=='__main__':
    qishi=int(input('请输入起始页面:'))
    zzhi=int(input('请输入终止界面'))
    for page in range(qishi,zzhi):
        #请求对象的定制
        reques=url(page)
        #获取网页源码
        content=get_content(reques)
        # 下载
        down_lode(page,content)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值