selenium+phantomjs

解决办法:解决页面js的问题,主要需要一个工具,这个工具(具备浏览器的功能)可以帮助我们来运行获取到的js

1、什么selenium?
selenium是一个web自动化测试工具。但是他本身不带浏览器的功能,他这工具就相当于一个驱动程序,通过这工具可以帮助我们自动操作一些具有浏览器功能外部应用。
2、什么是phantomjs?
phantomjs就是内置的无界面浏览器引擎。他可以像浏览器那样加载页面,运行页面中的js代码。
chromedriver.exe这个是谷歌浏览器驱动程序,通过这个程序可以使得selenium可以调用chrome浏览器。—有界面浏览器。

这两个的功能有界面的更加强大:很多网站还是可以识别你是不是用phantomjs来进行爬取的,也会被禁。
但是有界面的chrome浏览器是不会被禁的,他就像一个真正用户在请求一样。
3、selenium和phantomjs的安装。
(1)下载phantomjs和chromedriver.exe
搜索phanomjs镜像
(2)安装:
解压
找到两个压缩包中exe文件,将其复制到anaconda/Scripts目录下面就ok了。
C:\Anaconda3\Scripts
C:\Anaconda3
(3)测试:
在cmd中输入:phantomjs
chromedriver
(4)selenium安装:pip isntall selenium==2.48.0

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值