环境:python3.6
目的:根据关键词在淘宝1688平台上搜索商品,并将商品的pid等信息抓取下来。
首先,我们打开首页,输入关键词:女装。↓↓↓
点击找一下,后会跳转到商品页面,如下图所示↓↓↓
这个时候我们就可以看到女装商品分类,和一些推荐商品,
接下来我们不要急着爬这些商品数据,我们要找的是这些商品的分类目录地址。
谷歌浏览器右击检查页面,仔细观察会发现,每个分类的商品都有对应的地址,例如:连衣裙,对应的地址如下
我们进入连衣裙的href标签里面的地址,你会发现页面的标题已经从“女装”变成“女装-连衣裙”了,因为我们在这个页面看到的商品是经过淘宝分类后的,这一页内容只包含“女装-连衣裙”。