使用python采集VIP会电商平台商品数据①

获取标头：

响应：服务器返回的数据

预览：查看响应得数据

载荷：查询参数/请求参数

标头：查看请求的网址/请求的标头/请求方法

数据包地址：https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2

一页的数据放在三个链接；

productIds:：120个商品ID->找的商品的ID

获取商品所有ID.

-----------------------------------------------

"""
使用模块
    requests
    csv
代码步骤
    发送请求
    获取数据
    解析数据
    保存数据
第一次请求：请求商品ID数据包
    ->获取120个商品ID
第二次请求：获取商品详细数据链接

"""
import requests

# 发送请求 模拟浏览器
headers={
    'Referer':'https://category.vip.com/'
    ,'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'

}
url='https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank'
# 查询参数
data= {
    'callback':'getMerchandiseIds',
    'app_name':'shop_pc',
    'app_version':'4.0',
    'warehouse':'VIP_BJ',
    'fdc_area_id':'101101101',
    'client':'pc',
    'mobile_platform':'1',
    'province_id':'101101',
    'api_key':'70f71280d5d547b2a7bb370a529aeea1',
    'user_id':'',
    'mars_cid':'1713279016912_3b96c6831122abbb85e7319098623bdb',
    'wap_consumer':'a',
    'standby_id':'nature',
    'keyword':'口红',
    'lv3CatIds':'',
    'lv2CatIds':'',
    'lv1CatIds':'',
    'brandStoreSns':'',
    'props':'',
    'priceMin':'',
    'priceMax':'',
    'vipService':'',
    'sort':'0',
    'pageOffset':'0',
    'channelId':'1',
    'gPlatform':'PC',
    'batchSize':'120',
    '_':'1713279066798'
}
# 发送请求
response=requests.get(url=url,params=data,headers=headers)
# 获取服务器返回的响应数据
"""
response.text
    获取响应文本数据
response.json()
    获取想的json数据->数据是由{}/[]包裹起来的
response.content
    获取响应二进制数据 ->图片/视频/音频/特定格式
"""

# 获取服务器返回的响应数据
"""
response.text
    获取响应文本数据
response.json()
    获取想的json数据->数据是由{}/[]包裹起来的
response.content
    获取响应二进制数据 ->图片/视频/音频/特定格式
"""

----------------------------------------------