网络数据采集-Selenium

网络数据采集-Selenium

1. chromedriver的安装

安装chromedriver

$ sudo aptitude install chromium-chromedriver

chomredriver离线安装包下载地址 太新的版本可能没有呦^_

检查chromedriver与chrome的版本一致

$ dpkg -S chrome |grep bin
google-chrome-stable: /usr/bin/google-chrome-stable
chromium-chromedriver: /usr/bin/chromedriver

$ google-chrome-stable --version
Google Chrome 106.0.5249.119 

$ chromedriver --version
ChromeDriver 106.0.5249.119

2. 基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By

# 实例化浏览器对象
driver = webdriver.Chrome()

# 访问指定的url地址
driver.get("https://www.baidu.com")

# 显示源码
print(driver.page_source)

# 显示响应对应的url
print(driver.current_url)

# 截图，用于获取验证码
driver.save_screenshot('baidu.png')

# 在检索框中输入'python'
driver.find_element(By.ID, 'kw').send_keys('python')

# 点击'百度一下'按钮
driver.find_element(By.ID, "su").click()

# 关闭当前标签页，如果只有一个标签页则关闭整个浏览器
driver.close()

# 关闭浏览器
driver.quit()