Selenium和PhantomJS介绍

Selenium和PhantomJS介绍

Selenium和PhantomJS简介

Selenium简介

Selenium是一个Web的自动化测试工具，最初是为了网站自动化测试开发的，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。也包括PhantomJS。

Selenium可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至是页面截屏。

Selenium安装

pip install selenium

Selenium官方文档

http://selenium-python.readthedocs.io/index.html

PhantomJS简介

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

PhantomJS官方文档

http://phantomjs.org/documentation

PhantomJS下载地址

http://phantomjs.org/download.html

Selenium的入门

在Selenium库里面有一个WebDriver的API。WebDriver有点像可以加载网站的浏览器，但是它也可以像BeautifulSoup或其他的Selector对象一样用来查找页面元素，与页面上的元素进行交互（如：点击，发送文本等），以及执行其他动作来运行网络爬虫。

如：

from selenium import webdriver

if __name__ == '__main__':
    # 打开PhantomJS浏览器
    driver = webdriver.PhantomJS() # PhantomJS需要先下载，配置环境变量，如果没有配置环境变量，需要使用executable_path参数指定
    # 请求url
    driver.get('http://www.baidu.com')
    # 打印出网页的title
    print(driver.title) # 输出结果：百度一下，你就知道

    # 保存截图
    driver.save_screenshot(baidu.png)

    # 关闭当前页面，如果只有一个页面，会关闭浏览器
    # driver.close()

    # 关闭浏览器
    driver.quit()

Selenium中的WebDriver常用方法

title()：获取title标签，或者使用title属性

driver.title()   # 或者 driver.title

get(url)：get方式请求url

driver.get('http://www.baidu.com')

save_screenshot(name)：保存截图

driver.save_screenshot('baidu.png')

add_cookie(dict)：添加cookie，传入dict类型

driver.add_cookie({"":""})

get_cookies()：获取当前页面的cookie

driver.get_cookies()

delete_cookie()：删除cookie。

driver.delete_cookie({"":""})

delete_all_cookies()：删除所有的cookie

driver.delete_all_cookies()

close()：关闭页面

driver.close()

quit()：关闭浏览器

driver.quit()

maximize_window()：最大化

driver.maximize_window()

minimize_window()：最小化

driver.minimize_window()

WebDriver查找标签的方法

通过id查找对应的元素

driver.find_element_by_id("id")    # id名称

通过name查找对应的元素

driver.find_element_by_name('name') # name属性

通过标签名查找对应元素

driver.find_element_by_tag_name('tag') # tag:标签名 

通过xpath来查找对应的元素

driver.find_element_by_xpath('xpath') # xpath: xpath匹配规则

通过class属性查找对应的元素

driver.find_element_by_class_name('classname') # classname：class的属性名称

通过css选择器查找对应的元素

driver.find_element_by_css_selector('css')  # css选择器