Selenium CSS 选择器详细讲解

详细介绍 CSS 选择器 By.CSS_SELECTOR

在 Selenium 中,By.CSS_SELECTOR 是一种强大且灵活的定位方式。它使用 CSS 选择器语法来查找页面上的元素。CSS 选择器支持复杂的查询语法,可以根据元素的标签、类名、ID、属性等进行组合定位。

示例 HTML
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Selenium Selectors Example</title>
</head>
<body>
    <div id="main" class="container">
        <h1 class="header">Welcome to Selenium Tutorial</h1>
        <p name="description">This is a tutorial for learning Selenium.</p>
        <a href="https://example.com" id="link1" class="link">Click here</a>
        <a href="https://example.com/about" id="link2" class="link special-link">Learn more</a>
        <form>
            <input type="text" name="username" class="input-field">
            <input type="password" name="password" class="input-field">
            <button type="submit" class="button primary">Submit</button>
        </form>
    </div>
</body>
</html>

在上面的 HTML 示例中,有一个 <button> 元素,其类名为 button primary。我们将详细介绍如何使用 CSS 选择器来定位这个元素。

CSS 选择器 By.CSS_SELECTOR

用法示例
from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化 WebDriver
driver = webdriver.Chrome()

# 打开 HTML 文件(假设文件名为 example.html,放在当前工作目录)
driver.get("file:///path/to/your/example.html")

# 使用 CSS 选择器定位具有类名 'button primary' 的 <button> 元素
element = driver.find_element(By.CSS_SELECTOR, '.button.primary')
print(element.text)  # 输出: Submit

# 关闭浏览器
driver.quit()
解释
  • driver.find_element(By.CSS_SELECTOR, '.button.primary'):这行代码使用 CSS 选择器 .button.primary 来定位元素。.button.primary 选择器表示具有 buttonprimary 两个类名的元素。
  • print(element.text):打印出找到的元素的文本内容,这里是 Submit

CSS 选择器语法

CSS 选择器语法支持多种形式,以下是常见的一些用法:

  1. 通过标签名定位

    element = driver.find_element(By.CSS_SELECTOR, 'button')
    

    选择所有 <button> 元素。

  2. 通过类名定位

    element = driver.find_element(By.CSS_SELECTOR, '.button')
    

    选择所有类名包含 button 的元素。

  3. 通过ID定位

    element = driver.find_element(By.CSS_SELECTOR, '#link1')
    

    选择 ID 为 link1 的元素。

  4. 通过属性定位

    element = driver.find_element(By.CSS_SELECTOR, 'input[name="username"]')
    

    选择 name 属性为 username<input> 元素。

  5. 组合选择器

    element = driver.find_element(By.CSS_SELECTOR, 'div#main.container')
    

    选择 ID 为 main 并且类名为 container<div> 元素。

  6. 后代选择器

    element = driver.find_element(By.CSS_SELECTOR, 'div.container h1.header')
    

    选择类名为 container<div> 内部的类名为 header<h1> 元素。

  7. 子元素选择器

    element = driver.find_element(By.CSS_SELECTOR, 'form > input')
    

    选择所有 form 的直接子元素 <input>

  8. 属性存在选择器

    element = driver.find_element(By.CSS_SELECTOR, 'input[name]')
    

    选择所有具有 name 属性的 <input> 元素。

  9. 属性值以某个字符串开头

    element = driver.find_element(By.CSS_SELECTOR, 'a[href^="https"]')
    

    选择所有 href 属性以 https 开头的 <a> 元素。

  10. 属性值以某个字符串结尾

    element = driver.find_element(By.CSS_SELECTOR, 'a[href$=".com"]')
    

    选择所有 href 属性以 .com 结尾的 <a> 元素。

  11. 属性值包含某个字符串

    element = driver.find_element(By.CSS_SELECTOR, 'a[href*="example"]')
    

    选择所有 href 属性包含 example<a> 元素。

总结

CSS 选择器是 Selenium 中最灵活和强大的定位方式之一。通过结合不同的选择器语法,我们可以精确地定位几乎任何页面元素。在实际应用中,根据具体需求选择合适的 CSS 选择器,可以大大提高定位元素的效率和准确性。

  • 19
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当使用 Scrapy 和 Selenium 结合进行网页动态加载数据的爬取时,可以按照以下步骤进行操作: 1. 安装所需库:确保已安装 Scrapy 和 Selenium 库。可以使用以下命令进行安装: ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目:使用以下命令创建一个新的 Scrapy 项目: ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider:进入项目目录,并使用以下命令创建一个新的 Spider: ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider:打开 `example.py` 文件,并按照以下示例进行配置: ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提取动态加载的数据 # 示例:提取标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例中,我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`,这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium:为了使用 Selenium,你需要配置相关的 Web 驱动程序。根据你使用的浏览器,下载并安装相应的驱动程序,并将其添加到系统的 PATH 环境变量中。 6. 运行 Spider:使用以下命令运行 Spider: ``` scrapy crawl example ``` 这将启动爬取过程,并在控制台上打印出提取的动态加载数据。 通过以上步骤,你可以使用 Scrapy 和 Selenium 结合进行爬取动态加载数据的操作。你可以根据实际需求修改 Spider 中的代码来提取所需的数据,并将其保存到文件或数据库中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值