Selenium和PhantomJS介绍
Selenium和PhantomJS简介
Selenium简介
Selenium是一个Web的自动化测试工具,最初是为了网站自动化测试开发的,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。也包括PhantomJS。
Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至是页面截屏。
Selenium安装
pip install selenium
Selenium官方文档
http://selenium-python.readthedocs.io/index.html
PhantomJS简介
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理 JavaScrip、Cookie、headers,以及任何我们真实用户需要做的事情。
PhantomJS官方文档
http://phantomjs.org/documentation
PhantomJS下载地址
http://phantomjs.org/download.html
Selenium的入门
在Selenium库里面有一个WebDriver的API。WebDriver有点像可以加载网站的浏览器,但是它也可以像BeautifulSoup或其他的Selector对象一样用来查找页面元素,与页面上的元素进行交互(如:点击,发送文本等),以及执行其他动作来运行网络爬虫。
如:
from selenium import webdriver
if __name__ == '__main__':
# 打开PhantomJS浏览器
driver = webdriver.PhantomJS() # PhantomJS需要先下载,配置环境变量,如果没有配置环境变量,需要使用executable_path参数指定
# 请求url
driver.get('http://www.baidu.com')
# 打印出网页的title
print(driver.title) # 输出结果:百度一下,你就知道
# 保存截图
driver.save_screenshot(baidu.png)
# 关闭当前页面,如果只有一个页面,会关闭浏览器
# driver.close()
# 关闭浏览器
driver.quit()
Selenium中的WebDriver常用方法
title():获取title标签,或者使用title属性
driver.title() # 或者 driver.title
get(url):get方式请求url
driver.get('http://www.baidu.com')
save_screenshot(name):保存截图
driver.save_screenshot('baidu.png')
add_cookie(dict):添加cookie,传入dict类型
driver.add_cookie({"":""})
get_cookies():获取当前页面的cookie
driver.get_cookies()
delete_cookie():删除cookie。
driver.delete_cookie({"":""})
delete_all_cookies():删除所有的cookie
driver.delete_all_cookies()
close():关闭页面
driver.close()
quit():关闭浏览器
driver.quit()
maximize_window():最大化
driver.maximize_window()
minimize_window():最小化
driver.minimize_window()
WebDriver查找标签的方法
通过id查找对应的元素
driver.find_element_by_id("id") # id名称
通过name查找对应的元素
driver.find_element_by_name('name') # name属性
通过标签名查找对应元素
driver.find_element_by_tag_name('tag') # tag:标签名
通过xpath来查找对应的元素
driver.find_element_by_xpath('xpath') # xpath: xpath匹配规则
通过class属性查找对应的元素
driver.find_element_by_class_name('classname') # classname:class的属性名称
通过css选择器查找对应的元素
driver.find_element_by_css_selector('css') # css选择器