爬取天猫店铺列表页的所有数据

 

首页我们有一个起始url:https://goodbaby.tmall.com/shop/view_shop.htm?spm=a230r.7195193.1997079397.2.3RayhH

我们要采取的是它里面所有宝贝,按销量排序,如图:

点击进去,我们可以看到列表页的链接:

我们查看源代码,可以发现淘宝的商品数据藏在js里面的:

我们找到他的接口 ,直接发起请求,从Headers直接找到他的url,然后对它发起请求,把里面的p改一下,p代表的是当前页数,遍历他的页数。

最后把爬取的的数据存到excel里面,就ok了,最后附上代码:

 

import requests
import json,re
import xlsxwriter
import pymysql
workbook=xlsxwriter.Workbook("e:\\data.xlsx")
worksheet=workbook.add_w