需求:
1.对于某某商城,爬取其商品名称和商品价格
2.要求:用户动态输入爬取特定商品;
3.爬取结果导入excel表格,并写入数据库中;
思路:
1.查看搜索商品的接口信息,包括接口名称,接口方法(get/post),接口请求参数,及请求头
2.爬取出来的信息,利用正则表达进行抽取有用信息(商品名称,价格)
3.对抽取出来的信息进行拼接及优化展示
4.总共只需三个函数即可,一个利用requests调用搜索接口,获得返回信息,第二个利用re模块去正则表达规则去提取商品名称和价格,第三个优化展示(美观&直观效果)
步骤:
一。第一步:打开F12查看接口信息,取得接口名称,接口调用方法(post),请求头及参数
函数如下:
其中:(1). headers是请求头,字段Authorization是接口授权,是必须的