![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
selenium
文章平均质量分 88
z_xiaochuan
这个作者很懒,什么都没留下…
展开
-
selenium爬取魔方公寓, 利用鼠标中轴滚动动态拿到魔方公寓评论数据
最近看到有兄弟们爬取魔方公寓受阻了,虽然能爬取房源信息但是爬取不到评论信息,而且接口是加密的, 用selenium的模拟滚动条滚动也不能让评论下翻,最后只能拿到十几条数据,读者最后试了几遍, 用了很多方法都没法实现,但是最后还是被小编攻破了, 一起来看一下吧! 首先我是按照常规写法, 模拟滚动条滚动,但是最后得到的却是主页面的滚动而评论页纹丝不动, 后来发现评论页原来整体是...原创 2018-12-06 11:13:02 · 343 阅读 · 0 评论 -
python爬取天猫评论并制作词云, 用Scrapy+ selenium实现
前一段时间爬取了天猫某些商品的评论数据并进行轻度处理,今天就跟大家聊聊见解吧!话不多说直接开始:大家都知道淘宝天猫作为国内最大的电商平台之一, 它对网站的加工是极好的,网站的配置也是非常完美的,其中就包括了反爬虫的设计. 淘宝的登录页面是可以检测selenium操作的,所以用selenium模拟登录是不可行的,只要你用selenium模拟登录不管怎么样都是失败的.但是我们可以带cookie...原创 2018-12-06 18:45:07 · 1254 阅读 · 0 评论