Selenium 简介_selenium 4.14-CSDN博客

本文链接：https://blog.csdn.net/qq_66726657/article/details/130594362

Selenium 是一个自动化测试框架，最初是为 Web 应用程序测试而开发的。它能够模拟用户在浏览器中的操作，包括点击、填写表单、上传文件等。Selenium 有多种编程语言的接口，包括 Python、Java、C#、Ruby 等。本文将介绍 Selenium 在 Python 中的使用。

环境搭建

在使用 Selenium 之前，需要安装 Selenium 库和浏览器驱动。Selenium 可以通过 pip 安装：

pip install selenium

浏览器驱动需要根据使用的浏览器类型下载。例如，如果使用 Chrome 浏览器，需要下载 ChromeDriver。可以在 ChromeDriver 官网（https://sites.google.com/a/chromium.org/chromedriver/downloads）下载对应版本的 ChromeDriver。

下载后，将 ChromeDriver.exe 放在系统路径下，或者在代码中指定 ChromeDriver 的路径：

from selenium import webdriver

driver = webdriver.Chrome('C:/path/to/chromedriver.exe')

API 介绍

Selenium 提供了多种 API，常用的有以下几种：

1. WebDriver API

WebDriver API 是 Selenium 最重要的 API 之一，它提供了许多与浏览器交互的方法。例如，打开一个网页可以使用 get 方法：

driver.get('https://www.baidu.com')

其他常用方法包括：

back()：返回上一页
forward()：前进到下一页
refresh()：刷新当前页面
find_element_by_*：查找元素，其中 * 可以是 id、name、class_name、tag_name、link_text、partial_link_text、xpath、css_selector 等。例如，使用 find_element_by_id 方法查找一个 id 为 kw 的元素：

element = driver.find_element_by_id('kw')

send_keys()：在输入框中输入文字。例如：

element.send_keys('Python')

click()：点击按钮或链接。例如：

element.click()

execute_script()：在当前页面执行 JavaScript 代码。例如：

driver.execute_script("alert('Hello, World!')")

2. WebElement API

WebElement 是代表网页中一个元素的对象，它提供了许多与元素交互的方法。常用的方法包括：

text：获取元素的文本内容。例如：
```
text = element.text
```
get_attribute()：获取元素的属性值。例如：
```
value = element.get_attribute('value')
```
clear()：清空输入框中的文字。例如：
```
element.clear()
```
3. Expected Conditions API

Expected Conditions API 是用于等待特定条件出现的 API。例如，可以等待一个元素出现

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待元素出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'kw'))
)

这段代码会等待直到一个 id 为 kw 的元素出现，最长等待时间为 10 秒。

示例代码

下面是一个使用 Selenium 实现自动化搜索的示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 打开浏览器
driver = webdriver.Chrome()
driver.maximize_window()

# 打开百度首页
driver.get('https://www.baidu.com')

# 等待搜索框出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'kw'))
)

# 在搜索框中输入关键字
element.send_keys('Python')

# 点击搜索按钮
element = driver.find_element_by_id('su')
element.click()

# 等待搜索结果页面出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'content_left'))
)

# 输出搜索结果标题
results = driver.find_elements_by_xpath('//h3[@class="t"]/a')
for result in results:
    print(result.text)

# 关闭浏览器
driver.quit()

项目实战

下面是一个使用 Selenium 实现自动登录和数据抓取的项目实战：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 打开浏览器
driver = webdriver.Chrome()
driver.maximize_window()

# 打开登录页面
driver.get('https://example.com/login')

# 输入用户名和密码
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'username'))
)
element.send_keys('username')
element = driver.find_element_by_id('password')
element.send_keys('password')

# 点击登录按钮
element = driver.find_element_by_id('login-button')
element.click()

# 等待登录成功并跳转到主页面
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'main-content'))
)

# 抓取数据
elements = driver.find_elements_by_xpath('//table/tbody/tr')
for element in elements:
    data = element.find_elements_by_tag_name('td')
    print(data[0].text, data[1].text, data[2].text)

# 关闭浏览器
driver.quit()

这个项目实战会先打开一个登录页面，然后输入用户名和密码，点击登录按钮，等待登录成功并跳转到主页面，最后抓取页面上的数据并输出。注意，这里的用户名和密码需要替换成实际的值。