再学爬虫—selenium:
selenium是一个自动化测试工具,利用它可以驱动浏览器完成指定操作。
使用之前要声明浏览器对象:
from selenium import webdriver
browser=webdriver.Chrome() #谷歌浏览器
browser=webdriver.Firefox() #火狐浏览器
browser=webdriver.Edge() #IE浏览器 版本更新好像没用了
browser=webdriver.PhantomJS() #无头浏览器
还有这种可以模拟浏览器操作且无界面:
chrome_options=webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
browser=webdriver.Chrome(chrome_options=chrome_options)
基本用法:
访问页面:
browser.get("url")
查找单个节点:
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
......
返回的是一个WebElement对象
查找多个节点:
find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
......
其实就是在查找单个节点方法上加了一个s,但是返回的是一个列表。列表里面还是WebElement对象。
节点交互:
输入文字:
send_keys("输入的文字")
清空文字:
clear()
点击按钮:
click()
还有很多,这里就不一一列出了。
延时等待:
隐式等待:
如果selenium没有在DOM中找到节点,将继续等待,超出设定时间后,则抛出找不到节点的异常。也就是说,当查找节点而节点没有立即出现的时候,隐式等待将等你带一段时间再查找DOM,默认的时间是0。
browser.imlicitly_wait(10) #10秒
显示等待:
如果在规定时间内加载出来了这个节点,就返回查找的节点;如果到了规定时间依然没有加载出来该节点,则抛出超时异常。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
wait=WebDriverWait(browser,10) #10秒
input=wait.until(EC.presence_of_element_localed(By.ID,"q"))
以上是我在爬虫过程中使用的比较多的。