爬虫09_荣耀门店详情页数据的爬取

我是那颗银弹

于 2020-04-21 17:04:22 发布

阅读量3.3k

点赞数

分类专栏：爬虫 python 编程文章标签： python json post request ajax

本文链接：https://blog.csdn.net/qq_40272386/article/details/105660979

版权

本文介绍如何使用Python爬取荣耀门店详情页数据。通过分析页面请求，发现数据动态加载，采用POST请求并携带JSON数据。首先爬取首页获取门店ID，然后针对每个门店ID请求详情页，注意到请求参数shopid的变化。完整代码和关键步骤详解有助于理解爬虫处理动态加载数据的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：

爬取荣耀门店的详情页的数据，练习地址
首页数据
详情页数据

分析：

首先看无论访问是哪个省哪个市，首页的url一直未变。然后通过抓包工具抓包分析，该页面的数据为动态加载数据，定位到实际的数据包。通过分析可以看到真正的url，请求的类型，以及post请求携带的数据为json数据，并且响应的数据也是json形式的数据。
在这里插入图片描述

注意：请求参数为字典格式并非常规的键值对，所以在代码实现中需要使用dumps将字典转成json串作为请求参数，也可以通过给post方法自带的json参数赋json类型的数据完成json格式的数据传递，可以参考这篇博客https://blog.csdn.net/qq_40272386/article/details/105658398

步骤：

1. 先爬取门店首页信息

import requests

url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
json = {
   
"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"江苏","city"

最低0.47元/天解锁文章