爬虫实战-爬取兴盛优选首页所有商品数据并写入excel

兴盛优选这个小程序很火，小编今天就教大家如何爬取兴盛优选的所有商品数据信息吧

1.首先获取windowid

这个请求是获取所有的windows的id的 这个请求实际返回windows   brandHouseWindows classifyWindows   这三个其实都返回了windowId 通过观察我们可知 windows里面的是包含所有的 所以我们只需要对他进行遍历即可

https://mall.xsyxsc.com/user/product/indexSortWindows

 

 

2.查看获取商品信息请求  这里其实有三个接口获取商品数据 分别如下【查看下方可知 ，我们一开始获取的windosid是用于这里获取商品数据的】

 

https://mall.xsyxsc.com/user/product/activityProducts

https://mall.xsyxsc.com/user/product/classifyProducts

https://mall.xsyxsc.com/user/brandhouse/window/getProducts

 

相对于前面二个接口 第三个可能会稍微麻烦一点，因为他有pageIndex  pageSize参数 为了避免翻页 小编将pageSize修改成1000，发送请求  于是发现 他们做了控制 好像必须传入10的大小，好吧 不能投机取巧了我们还是老实的写个翻页吧  小编的思路是 直接来个很大的循环 然后当响应数据中 data.records的数据是空的时候 就跳出循环。

 

好了看到这里我们大致可以知道  获取商品信息总共分三个接口，他们的请求地址，以及请求参数都不一样！

3.确定思路

首先获取所有的windowid  然后根据windowid去遍历商品数据，而具体使用那个获取商品数据的接口  我们可以根据https://mall.xsyxsc.com/user/product/indexSortWindows接口返回