介绍
PhantomJS
PhantomJS是一个服务器端的 JavaScript API 的WebKit(开源的浏览器引擎)。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试等。
使用PhantomJS,而不用Chromedriver和firefox,主要是因为PhantomJS的静默方式(后台运行,不打开浏览器)。
Selenium
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性、测试系统功能,它是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。
我们抓取时选用它,主要是Selenium可以渲染页面,运行页面中的JS,以及其点击按钮,提交表单等操作。但就是因为Selenium会渲染页面,所以相对于requests+BeautifulSoup会慢上一些。
使用pip安装selenium
测试一下
# coding = utf-8
from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get("http://www.baidu.com")
browser.find_element_by_id("kw").send_keys("python")
browser.find_element_by_id("su").click()
browser.quit()
因为我已经把python加入了环境变量,所以直接把phantomjs.exe丢到Scripts文件夹下面了。通过下面这种方式即可启动phantomjs.exe
Tips:
- browser.page_source # 源代码,可结合BeautifulSoup使用
- browser.current_url # 当前URL