selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。
为了使用selenium 我下载安装一个与自用浏览器配套的chormedriver。
在使用之前,如果需要指定浏览器:
from selenium import webdriver browser = webdriver.Chrome() browser = webdriver.Firefox()
访问你想让它打开的页面:
from selenium import webdriver browser = webdriver.Chrome() browser.get("http://www.baidu.com")
爬虫时常用它来获取cookies:
get_cookies()
delete_all_cookes()
add_cookie()
需要用它来查找元素:
这里列举一下常用的查找元素方法:
find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
或许需要它代替你完成输入或点击操作:
#清空账号框中的内容 driver.find_element_by_xpath("./*//input[@name='account']").clear() #自动填入登录用户名 driver.find_element_by_xpath("./*//input[@name='account']").send_keys(user) #清空密码框中的内容 driver.find_element_by_xpath("./*//input[@name='password']").clear() #自动填入登录密码 driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)