python爬虫—关于淘宝商品的爬取

之前爬过一次淘宝，当时这个网站没怎么设置很厉害的反爬措施，能够很轻松地获取上面的数据：销量啊、价格啊、以及好评等等，做一些可视化的图表，对于将要在淘宝平台售卖商品的商家具有很好的参考意义。

现在的淘宝已经不是原来的淘宝了，现在必须要用户登陆才能查看里面的商品信息，所以反爬措施大大提高了，就如同知乎一样，爬数据之前需要解决网站模拟登陆的问题。关于登陆，这里我推荐大家两种解决方法：第一种是selenuim神器；第二种就是访问时加cookies。

这里以selenuim为例，来介绍一下淘宝商品的爬取过程：

在此之前，需要确保selenuim和浏览器驱动chromedriver已经安装好.

1,selenuim的自动化测试浏览器chromedriver打开淘宝首页（www.taobao.com），利用开发者工具的css选择器选定搜索框，把搜索框的内容清除，输入需要查找的关键词，点击搜索。

2，点击搜索之后，页面不会直接弹出商品列表，弹出的是一个登陆页面，这时需要自己进行扫码登陆。

3，登陆之后页面会直接转到商品列表上，利用chromedriver中的page_source和pyquery把每个商品的销量、价格、产地等数据提取出来。

4，存储数据，并进行翻页操作形成递归顺序，直至把前100页商品全部爬取完毕，在翻页的时候需要控制自己的访问频率，最好家伙加上一句time.sleep(2)来减少被限制的几率。

爬取结果如下：

以上仅仅是利用selenuim解决淘宝登陆的问题，还有一种解决方式就是使用requests和Beautifulsoup库，requests访问时加上登陆淘宝后的cookies就能解决

后续：有条件的话可以买一些淘宝账号，自己构建一个cookies池，可以解决爬取频率太快导致账号被限制，以此提高爬取效率。

获得本次教程的完整代码方式：关注微信公众号：小张Python，后台回复关键词 淘宝美食 即可