今天的文章是关于如何使用requests来爬取大众点评的数据。
看完本文,你可以:
1、了解大众点评的CSS反爬虫机制
2、破解反爬虫机制
3、使用requests即可正确获取到评论数,平均价格,服务,味道,环境数据,评论文本数据;
同时,代码我并**没有做太多的优化,因为没有大量的代理,爬不了太多的内容。
这里只是跟大家分享一下处理的流程
正文开始。
1.前言
在工作生活中,发现越来越多的人对大众点评的数据感兴趣,而大众点评的反爬又是比较严格的。采取的策略差不多是宁可错杀一万,也不放过一个。有的时候正常浏览都会跳出验证码。
另外,在PC端的展示数据是通过CSS来控制的,从网页上看不出来太大的区别,但是用普通的脚本取获取时,会发现数据是获取不到的,具体的源代码是下面这样的:
然,在搜资料的时候,你会发现,很多教程都是用的selenium之类的方法,效率太低,没有啥技术含量。
所以,这篇文章的面向的对象就是PC端的大众点评;目标是解决这种反爬虫措施,使用requests获取到干净正确的数据;
跟着我,绝不会让你失望。
2.正文开始
相信搞过大众点评网站的同学都应该知道上面的这种是一个css反爬的方法,具体的解析操作,即将开始。
找到藏着秘密的css
当我们的鼠标在上面框框内的span上面点击时,会发现右边部分会相应的发生变化:
这张图片很重要,很重要,很重要,我们要的值,几乎都从这里匹配出来。
这里我们看到了“vxt20”这个变量对应的两个像素值,前面的是控制用哪个数字,后面的是控制用哪一段的数字集合,先记下,后面要用,同时这里的值应该是6;
这里其实就是整个破解流程最关键的一步了。在这里我们看到了一个链接。
瞎猫当死耗子吧,点进去看看。