selenium基本使用

selenium使用

• 介绍
  • selenium本是一个web测试工具，也已可以应用在爬虫中，在一些找不到接口的网页，或者需要登录的网页使用selenium进行模拟登录。模拟登录以后所有的内容都在HTML中，直接爬取HTML就好。
• 使用selenium

# 导包
from selenium import webdriver

url = 'xxx'

# 创建对象
# 如果没有放到环境变量中需要指定绝对路径
driver = webdriver.Chrome()  

# 浏览器跳转url
driver.get(url)

# 点击事件
click_xxx = driver.find_element_by_xpath()
# 执行点击动作
click_xxx.click()

# 寻找文档
'''
driver.find_elements_by_xpath()
driver.find_element()
driver.find_elements()
driver.find_element_by_id()
driver.find_element_by_css_selector()
driver.find_element_by_class_name()
'''

# 退出浏览器
driver.close()

• 向输入框中输入内容

# 找到输入框
input_driver = driver.find_elements_by_xpath()
# 向输入框中输入内容
input_driver.send_keys('xxx')

• 使用谷歌浏览器无界面模式

from selenium import webdriver
import time
# 谷歌浏览器隐藏界面
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('disable-gpu')

driver = webdriver.Chrome(chrome_options=chrome_options)

url = 'xxx'
driver.get(url)
time.sleep(url)
driver.save_screenshot('xxx.png')

driver.quit()