使用PhantomJS+Selenium抓取经过JS渲染的页面

介绍

PhantomJS

PhantomJS下载地址

PhantomJS是一个服务器端的 JavaScript API 的WebKit（开源的浏览器引擎）。其支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。PhantomJS可以用于页面自动化，网络监测，网页截屏，以及无界面测试等。

使用PhantomJS，而不用Chromedriver和firefox，主要是因为PhantomJS的静默方式（后台运行，不打开浏览器）。

Selenium

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性、测试系统功能，它是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。

我们抓取时选用它，主要是Selenium可以渲染页面，运行页面中的JS，以及其点击按钮，提交表单等操作。但就是因为Selenium会渲染页面，所以相对于requests+BeautifulSoup会慢上一些。

使用pip安装selenium

测试一下

# coding = utf-8

from selenium import webdriver


browser = webdriver.PhantomJS()

browser.get("http://www.baidu.com")
browser.find_element_by_id("kw").send_keys("python")
browser.find_element_by_id("su").click()
browser.quit()

因为我已经把python加入了环境变量，所以直接把phantomjs.exe丢到Scripts文件夹下面了。通过下面这种方式即可启动phantomjs.exe

Tips：

• browser.page_source # 源代码，可结合BeautifulSoup使用
• browser.current_url # 当前URL

参考资料：

Selenium+PhantomJS+Xpath抓取网页JS内容

selenium + python自动化测试环境搭建

轻松自动化—selenium-webdriver(python) (一)