基于Scarpy爬取Shopee网站商品数据

一、实现的主要功能：

1、基于Scarpy框架爬取Shopee网站马来西亚站点商品数据，包括商品url，最低价、最高价、销量、商品图片url、店铺名称、店铺开通时间；

2、针对反爬，获取免费ip代理网站的ip自动更换ip；

关注公众号，发送shopee获取项目代码下载链接

二、项目结构：

 

三、用到的接口有：

接口1、获取当前页50个商品数据：

•  

https://my.xiapibuy.com/api/v2/search_items/?by=sales&limit=50&match_id=17&newest=0&order=desc&page_type=search

第一页newest=0，每增加一页newest加50，第二页newest=50。match_id=17，指的是Men's-Clothing类目。

 

接口2、获取商品店铺的相关信息：