利用selenium+phantomjs从百度页面爬简单数据
1、安装selenium。命令pip install selenium==2.53.6(这里一定要指定版本。本教程可能不支持高版本)。安装如下图所示:
2、校验是否安装成功。依次输入命令:python、from selenium import webdriver、webdriver.Firefox()如下面图片所示
这里成功打开了火狐浏览器证明我们的安装是成功的
3、安装phantomjs。下载路径:http://phantomjs.org/download.html
4、解压下载的安装包phantomjs-2.1.1-windows.zip,我这里将安装包解压到了Python的安装目录(便于管理)
5、配置环境变量,如下图所示
6、打开Windows命令窗口,
切换路径到需要被运行的js文件的路径下
7、执行phantomjs hello.js 输出如图所示结果。证明配置正确
8、编写python脚本。我这里的脚本如下:
from selenium import webdriver
driver = webdriver.PhantomJS(executable_path=r"D:\Python36\phantomjs-2.1.1-windows\bin\phantomjs.exe")
driver.get("http://www.baidu.com")
data = driver.title
print(data)
9、运行的3步的脚本。运行效果如下图所示:
这样我们就完成了一个简单的从百度爬数据的工作