之前爬过一次淘宝,当时这个网站没怎么设置很厉害的反爬措施,能够很轻松地获取上面的数据:销量啊、价格啊、以及好评等等,做一些可视化的图表,对于将要在淘宝平台售卖商品的商家具有很好的参考意义。
现在的淘宝已经不是原来的淘宝了,现在必须要用户登陆才能查看里面的商品信息,所以反爬措施大大提高了,就如同知乎一样,爬数据之前需要解决网站模拟登陆的问题。关于登陆,这里我推荐大家两种解决方法:第一种是selenuim神器;第二种就是访问时加cookies。
这里以selenuim为例,来介绍一下淘宝商品的爬取过程:
在此之前,需要确保selenuim和浏览器驱动chromedriver已经安装好.
1,selenuim的自动化测试浏览器chromedriver打开淘宝首页(www.taobao.com),利用开发者工具的css选择器选定搜索框,把搜索框的内容清除,输入需要查找的关键词,点击搜索。
2,点击搜索之后,页面不会直接弹出商品列表,弹出的是一个登陆页面,这时需要自己进行扫码登陆。
3,登陆之后页面会直接转到商品列表上,利用chromedriver中的page_source和pyquery把每个商品的销量、价格、产地等数据提取出来。
4,存储数据,并进行翻页操作形成递归顺序,直至把前100页商品全部爬取完毕,在翻页的时候需要控制自己的访问频率,最好家伙加上一句time.sleep(2)来减少被限制的几率。
爬取结果如下:
以上仅仅是利用selenuim解决淘宝登陆的问题,还有一种解决方式就是使用requests和Beautifulsoup库,requests访问时加上登陆淘宝后的cookies就能解决
后续:有条件的话可以买一些淘宝账号,自己构建一个cookies池,可以解决爬取频率太快导致账号被限制,以此提高爬取效率。
获得本次教程的完整代码方式:关注微信公众号:小张Python,后台回复关键词 淘宝美食 即可