python爬取唯品会电商网站数据并保存到csv中

1.目标、思路

目标： 本次爬虫爬取的目标是唯品会中口红分类的商品。（url
）
思路：打开网页后点击F12打开抓包工具，找到我们想要的数据包，并分析。

并且可以发现他是通过提交商品id参数来获取这些商品信息的，所以这不是个静态网页，在网页源代码中是找不到商品信息的。

那我们就获取所有的商品ID并传入到商品的数据包URL地址里面就可以获取商品信息了。

2. 获取数据

构建url，headers，params去请求数据。

import  requests
headers = {
   'referer':'https://category.vip.com/',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'}
url = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank'
params = {
   
'app_name': 'shop_pc',
'app_version': '4.0',
'warehouse': 'VIP_HZ',
'fdc_area_id': '104102101',
'client': 'pc',
'mobile_platform': '1',
'province_id': '104102',
'api_key': '70f71280d5d547b2a7bb370a529aeea1',
'user_id': '',
'mars_cid': '1616561542264_dbf891698c85094d527273d671f70e8f',
'wap_consumer': 'a',
'standby_id': 'nature',
'keyword': '口红',
'lv3CatIds': '',
'lv2CatIds': '',
'lv1CatIds': '',
'brandStoreSns': '',
'props': '',