天猫数据爬取分析

1.      获取店铺信息

在天猫搜索的时候可以选择只搜索店铺，天猫会返回所有与品牌相关的店铺，如下图是与安踏有关的店铺

模拟翻页操作，获取所有的店铺信息；

2.      获取商品信息

点击一个店铺后，天猫列出其所有的商品的销售情况，如下

这样可以获取所有商品的ID，然后进入一个商品详情页，如下所示

然后获取商品详情、评价、成交记录，以获取评价为例：

点击评价里面的翻页时，会触发Ajax请求返回当前页的评价信息，我们可以伪造Ajax请求获取评价信息，但值得注意的是评价和成交记录只能获取前100页的数据；剩余无法获取。