前言
本文是该专栏的第20篇,后面会持续分享python的爬虫干货知识,记得关注。
一般来说,我们访问亚马逊,亚马逊的配送地一般显示的是国内,但是国内的商品信息和国外的商品信息其实是存在很大差别的,比如你在搜索框输入某个关键词,看到的国内配送地商品信息排名和国外配送地商品信息排名是不一样的。
国内配送地,如下:
国外配送地,如下:
两个不同地域的配送地址,搜索同一个关键词,商品排名信息或多或少看起来是不一样的。
如果我们需要拿到国外配送地的商品信息,这个时候就需要用到selenium或者pypputeer自动化的方法去更改配送地,拿到当地的cookie信息,之后,携带当地的cookie使用requests发送请求,就可以拿到国外配送地的商品数据信息。
本文暂时先使用selenium来获取数据,pypputeer的使用