肯德基爬虫 (案例练习：ajax、post)

最新推荐文章于 2024-02-03 20:59:12 发布

进击的Spider

最新推荐文章于 2024-02-03 20:59:12 发布

阅读量818

点赞数

分类专栏：爬虫 Python

本文链接：https://blog.csdn.net/weixin_42552374/article/details/83588068

版权

Python 同时被 2 个专栏收录

42 篇文章 0 订阅

订阅专栏

爬虫

23 篇文章 0 订阅

订阅专栏

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib
import urllib.request
import urllib.parse

# ajax post
post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=pid'

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}


if __name__ == '__main__':

    city = input("请输入您要查询的城市：")
    page = int(input("请输入查询多少页："))
    for p in range(1, page+1):
        form_data = {
            'cname': city,
            'pid': 31,
            'pageIndex': p,
            'pageSize': 50
    }
        # 因为浏览器会自动将我们传递的表哥参数进行编码，所以我们也要模拟浏览器将表格参数进行编码
        form_data = urllib.parse.urlencode(form_data).encode('utf-8')
        headers_request = urllib.request.Request(url=post_url, data=form_data,headers=headers)
        response = urllib.request.urlopen(headers_request)
        content = response.read().decode('utf-8')

        with open('./肯德基第%d页.json' % (p,), mode='wb') as fp:
            fp.write(content.encode('utf-8'))