Selenium-提供API自动处理多个常见浏览器

1、python安装Selenium : pip install selenium

2、使用

from selenium import webdriver
# 无界面浏览器设置，也可不设置
from selenium.webdriver.firefox.options import Options
options = Options()
options.add_argument('--headless')
# 打开一个空白浏览器页面（只能使用系统中已经安装了的浏览器接口）
# 具体安装根据运行的错误提示操作即可
# 无界面浏览器需传options参数
driver = webdriver.Firefox(firefox_options=options)
# 在浏览器打开指定页面
url = 'https://www.baidu.com'
driver.get(url)
# 通过send_key()方法模拟键盘输入
driver.find_element_by_id('kw').send_keys('gww')
# 模拟执行js
# js = "document.getElementById('page_size').options[1].text = '1000'"
# driver.execute_script(js)
driver.find_element_by_id('su').click()
# 等待ajax请求完成之后
driver.implicitly_wait(30)
# 抽取查找的标题
links = driver.find_elements_by_css_selector('.t a')
titledic = [link.text for link in links]
print(titledic)
# 关闭浏览器
driver.close()
# 无界面浏览器需杀死进程
driver.quit()

# 也可以用循环的方式打印后面每一页的所有数据

使用firefox接口时，运行如果报了这个错，需要安装 geckodriver(https://github.com/mozilla/geckodriver/releases/tag/v0.26.0)，将下载下来的exe文件，放在python的Scripts目录下即可。