利用Python爬虫完美采集1688商品数据!

环境：python3.6

目的：根据关键词在淘宝1688平台上搜索商品，并将商品的pid等信息抓取下来。

 

首先，我们打开首页，输入关键词：女装。↓↓↓

点击找一下，后会跳转到商品页面，如下图所示↓↓↓

 

 

这个时候我们就可以看到女装商品分类，和一些推荐商品，

接下来我们不要急着爬这些商品数据，我们要找的是这些商品的分类目录地址。

谷歌浏览器右击检查页面，仔细观察会发现，每个分类的商品都有对应的地址，例如：连衣裙，对应的地址如下

 

 

我们进入连衣裙的href标签里面的地址，你会发现页面的标题已经从“女装”变成“女装-连衣裙”了，因为我们在这个页面看到的商品是经过淘宝分类后的，这一页内容只包含“女装-连衣裙”。