Selenium + PhantomJS爬去动态网站的数据示例（Python）

Selenium

一个Web自动化测试工具，最初是为了网站自动化测试而开发的；我们玩游戏有按键精灵；Selenium也可以做类似的事情，但是它是在浏览器中做这样的事情。

安装： sudo pip install selenium(pip install selenium)

在Python中from selenium import webdriver 来测试是否装好

说明：想要用Python做自动化测试的童鞋们可以好好研究一下Selenium的使用。

 

PhantomJS

一个基于webkit无界面(headless)的浏览器,它可以把网站加载到内存中并执行页面上的JS，但它没有图形用户界面，所以耗费的资源比较少；

安装： sudoapt install phantomjs （此方法可能安装不完整,导致部分功能无法使用）

# 导入selenium驱动包
from selenium import webdriver


# 开启一个浏览器
driver = webdriver.PhantomJS()
# 用浏览器打开一个超链接url
driver.get("http://www.bing.com")
# 用浏览器截图
driver.save_screenshot("Python爬虫Frombing0.png")
# 在浏览器通过id查找到某一个元素，并打印信息
data = driver.find_element_by_id('scpl1').text
print(data)

# 在bing中输入要搜索的信息
driver.find_element_by_id("sb_form_q").send_keys("Python爬虫")
# 点击搜索按钮进行搜索。
driver.find_element_by_id("sb_form_q").click()
# 用浏览器对搜索到的信息进行截图
driver.save_screenshot("Python爬虫Frombing2.png")

# 善后工作
driver.quit()