Selenium(对位于elements的源码进行操作)
自动化测试工具,支持多种浏览器
爬虫中主要用来解决JavaScript渲染的问题
安装 pip3 install selenium
基本使用
声明浏览器对象
from selenium import webdriver
实例化浏览器对象
browser = webdriver.Firefox()
browser = webdriver.Chrome()
访问页面
browser.get('https://www.taobao.com')
查找单个元素(例子中找的是id=q的元素)
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
#以上三个所找元素都是同一个,只是写法不同
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
查找多个元素
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
元素交互操作
from selenium import webdriver
import time
browser = webdriver.Firefox()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')#找到id为q的元素
input.send_keys('iPhone')#输入iPhone字符串
time.sleep(1)#在当前页面一秒
input.clear()#清除前面输入的iPhone字符串
input.send_keys('sansung')#输入sansung字符串
button = browser.find_element_by_class_name('btn-search')#寻找'btn-search'的元素
button.click()#对找到的元素进行点击
time.sleep(2)#在当前页面停留两秒
browser.close()#关闭浏览器
加上图片,说明点击按钮调用class_name的搜索条件
(所需要的元素的搜索条件寻找:右击该位置,然后检查元素,根据find_element_by能选择的搜索条件,进行元素定位)
定位百度页面搜索的id这个元素的话,输入s_btn即可
定位淘宝页面搜索的id这个元素的话,输入btn_search即可
交互动作
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Firefox()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')#切换到id='iframeResult'的小界面
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source,target)
actions.perform()
执行JavaScript(进度条下拉)
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('https://zhihu.com/explore')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Button")')
隐式等待
当使用了隐式等待执行测试的时候,如果webdriver没有在DOM中找到元素,将继续等待,超出设定时间后则抛出找不到元素的异常,换句话说,当查找元素或元素并没有立即出现的时候,隐式等待将等待一段时间再查找DOM,默认时间为0
from selenium import webdriver
browser = webdriver.Firefox()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input(browser.find_element_by_class_name('SignFlowHomepage-logo'))
前进后退
import time
from selenium import webdriver
browser = webdriver.Firefox()
browser.get("https://www.baidu.com/")
browser.get("https://www.taobao.com/")
browser.get("https://www.python.org/")
browser.back()
time.time(1)
browser.forward()
browser.close()
选项卡操作
import time
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to.window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to.window(browser.window_handles[0])
browser.get('https://python.org')