【《python爬虫入门教程07--重剑无峰168》】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

今天我们用python实现爬取—肯德基地址信息 并保存起来。改变到肯德基的其他url，可以爬取其他数据

提示：以下是本篇文章正文内容，下面案例可供参考

一、post请求？

1.我们前一个帖子，展示了用urllib库，使用get方法如何得到数据，今天我们使用post请求，其中主要的区别在于下方：

# get请求--将data进行拼接,并生成新的url
data = urllib.parse.urlencode(data)

# post需要编码为utf-8,也就是要加encode('utf-8'),而get不需要
data = urllib.parse.urlencode(data).encode('utf-8')

二、肯德基post请求爬取数据代码展示

1.可运行的代码

代码如下（示例）：

# https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# post请求 下方为在Payload中找到的参数
# cname: 深圳
# pid:
# pageIndex: 1
# pageSize: 10

import urllib.request
import urllib.parse

def create_request(page):
    """创建一个url"""
    url = 'https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

    data = {
        'cname': '深圳',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }

    # post需要编码为utf-8,也就是要加encode('utf-8'),而get不需要
    data = urllib.parse.urlencode(data).encode('utf-8')

    # 给一个UA,因为https有UA反扒机制
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0'
    }
    request = urllib.request.Request(url=url, data=data, headers=headers)

    return request

def get_content(request):
    """获取爬取的数据"""
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')

    return content

def download_data(page, content):
    """下载数据"""
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('请输入起始页码:'))
    end_page = int(input('请输入结束页码:'))
    for page in range(start_page, end_page+1):
        request = create_request(page)
        content = get_content(request)
        download_data(page, content)

总结

结合之前的帖子，相信可以理解的更加清楚。也是用谷歌chrome去找到数据的正确url。