XPath在网页爬虫中的应用

已于 2024-07-20 18:01:41 修改
阅读量1.9k 收藏 46
点赞数 31
文章标签： 爬虫 c++ 开发语言
于 2024-07-20 17:52:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D_ASH/article/details/140575008
版权

XPath（XML Path Language）是网页爬虫工程师的得力助手，它能够精确定位HTML文档中的元素，使得数据提取变得既简单又高效。本文将深入探讨XPath在网页爬虫中的应用，从基础概念到高级技巧，并提供丰富的实例来帮助您更好地在爬虫项目中运用XPath。

XPath基础

在网页爬虫中，XPath主要用于定位HTML元素。让我们以一个简单的网页结构为例：

<!DOCTYPE html>
<html>
<head>
    <title>Online Bookstore</title>
</head>
<body>
    <div id="header">
        <h1>Welcome to Our Bookstore</h1>
    </div>
    <div id="content">
        <div class="book">
            <h2>The Great Gatsby</h2>
            <p class="author">F. Scott Fitzgerald</p>
            <p class="price">$15.99</p>
        </div>
        <div class="book">
            <h2>To Kill a Mockingbird</h2>
            <p class="author">Harper Lee</p>
            <p class="price">$12.99</p>
        </div>
    </div>
    <div id="footer">
        <p>&copy; 2024 Online Bookstore</p>
    </div>
</body>
</html>

网页元素选择

在爬虫中，我们经常需要选择特定的HTML元素。以下是一些常用的XPath表达式：

  1. 选择所有书籍标题

    • //div[@class="book"]/h2

  2. 选择第一本书的信息

    • (//div[@class="book"])[1]

  3. 选择所有作者

    • //p[@class="author"]

  4. 选择页面标题

    • //title

  5. 选择页脚信息

    • //div[@id="footer"]/p

示例（使用Python和lxml库）：

from lxml import html
import requests

url = "http://example.com/bookstore"
response = requests.get(url)
tree = html.fromstring(response.content)

# 提取所有书籍标题
book_titles = tree.xpath('//div[@class="book"]/h2/text()')
print("Book Titles:", book_titles)

属性和文本提取

在网页爬虫中，我们经常需要提取元素的属性值和文本内容。

  1. 提取属性值

    • //img/@src: 提取所有图片的src属性

  2. 提取文本内容

    • //div[@class="book"]/h2/text(): 提取书籍标题的文本

  3. 组合属性和文本提取

    • //a[text()="Next"]/@href: 提取文本为"Next"的链接的href属性

示例：

# 提取所有书籍的价格
prices = tree.xpath('//p[@class="price"]/text()')
print("Book Prices:", prices)

# 提取所有图片的URL（假设有图片）
image_urls = tree.xpath('//img/@src')
print("Image URLs:", image_urls)

处理动态内容

现代网页经常使用JavaScript动态加载内容，这对爬虫提出了挑战。虽然XPath本身不能直接处理动态内容，但我们可以结合其他工具来解决这个问题。

  1. 使用Selenium等工具渲染页面
    然后再使用XPath提取内容：

    from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("http://example.com/dynamic-bookstore")

# 等待动态内容加载
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="book"]')))

# 现在可以使用XPath提取内容
book_titles = driver.find_elements(By.XPATH, '//div[@class="book"]/h2')
for title in book_titles:
    print(title.text)

driver.quit()

  2. 处理AJAX加载的内容
    对于通过AJAX加载的内容，我们可能需要直接分析网络请求，然后处理返回的数据。

XPath函数在爬虫中的应用

XPath函数可以帮助我们更精确地定位和提取数据：

  1. contains(): 用于模糊匹配

    • //a[contains(@href, "book")]: 选择href属性中包含"book"的所有链接

  2. starts-with(): 用于匹配属性值的开头

    • //div[starts-with(@id, "product-")]: 选择id以"product-"开头的所有div

  3. text(): 用于匹配文本内容

    • //button[text()="Add to Cart"]: 选择文本为"Add to Cart"的按钮

示例：

# 提取所有包含"fiction"类别的书籍
fiction_books = tree.xpath('//div[contains(@class, "fiction")]/h2/text()')
print("Fiction Books:", fiction_books)

# 提取所有以"https"开头的链接
secure_links = tree.xpath('//a[starts-with(@href, "https")]/@href')
print("Secure Links:", secure_links)

高级技巧和最佳实践

  1. 使用相对路径
    尽量使用相对路径来增加XPath的鲁棒性，例如：
    .//*[@class="book"] 而不是 /html/body/div[@id="content"]/div[@class="book"]

  2. 使用XPath轴

    • ancestor: 查找祖先节点
    • following-sibling: 查找之后的兄弟节点
      例如：//h2[text()="The Great Gatsby"]/following-sibling::p[@class="price"]

  3. 组合多个条件
    使用 and 和 or 来组合多个条件：
    //div[@class="book" and .//p[@class="price" and number(substring-before(text(), "$")) < 15]]

  4. 避免使用索引
    网页结构可能会变化，尽量避免使用固定的索引来选择元素。

常见爬虫问题和解决方案

  1. 问题：网页结构经常变化
    解决方案：使用更灵活的XPath表达式，例如使用 contains() 或 starts-with() 函数。

  2. 问题：需要提取的内容在iframe中
    解决方案：先定位iframe，然后切换到iframe内部进行提取：

    iframe = driver.find_element(By.XPATH, '//iframe[@id="content-frame"]')
driver.switch_to.frame(iframe)
# 现在可以在iframe内使用XPath

  3. 问题：处理分页内容
    解决方案：找到"下一页"按钮的XPath，循环点击并提取内容：

    while True:
    # 提取当前页面的内容
    books = driver.find_elements(By.XPATH, '//div[@class="book"]')
    for book in books:
        print(book.find_element(By.XPATH, './/h2').text)
    
    # 尝试找到并点击"下一页"按钮
    try:
        next_button = driver.find_element(By.XPATH, '//a[text()="Next"]')
        next_button.click()
        time.sleep(2)  # 等待页面加载
    except:
        break  # 如果没有找到"下一页"按钮，退出循环

通过掌握这些XPath技巧和最佳实践，您将能够更有效地构建和维护您的网页爬虫。记住，网页结构可能随时变化，因此建立健壮和灵活的XPath表达式是关键。同时，请确保您的爬虫行为符合目标网站的使用条款和法律规定。祝您在网页爬虫开发中取得成功！

TsayDreamer99
关注
  • 31
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
手把手教你使用python爬虫之xpath
景天科技苑
12-29 9477
xpath表达式如何理解？html中的标签是遵从树状结构的。切记:xpath表达式中最好不要出现tbody标签，因为tbody标签可能是浏览器加的，可以通过查看网页源代码判断是否是真实的tbody！tbody可能是源代码自带的，也有可能是浏览器添加的可以通过右键，查看页面源代码，确定tbody是不是浏览器添加的，如果源代码中有tbody，那就时源代码中包含的如果没有那就是浏览器添加的使用方法。
python（爬虫篇）——Xpath提取网页数据
CSDN博客
08-18 8866
路径常用规则nodename：选取此节点的所有子节点/：从根节点选取//：选取所有节点，不考虑位置.:选取当前节点..:选取当前节点的父节点@：选取属性谓语规则谓语被镶嵌在方括号内用来查找某个特定的节点或者包含某个特定的值的节点:选取body下的第一个div节点:选取body下最后一个div节点:选取body下倒数第二个div节点:选取body下前两个div节点:选取body下带有class属性的div节点:选取body 下class属性为main的div节点。...
Python网络爬虫-详解XPath匹配网页数据
a910247的博客
04-23 2039
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。XPath使用路径表达式来选取XML文档中的节点或节点集。这些节点是通过沿着路径（path）或者步（steps）来选取的。XPath不仅可以用于搜寻XML文档，同样适用于HTML文档的搜索。XPath广泛应用于XML解析、XSLT转换、XPath查询等领域，是XML技术中的重要组成部分。它可以用于解析XML文档，并根据节点的层次结构和属性值来定位和选择节点。
爬虫中XPath的应用与元素定位
RHeng的博客
08-07 2006
在爬虫开发中，XPath是一种强大的语言，用于在XML和HTML文档中查找信息。它允许开发者通过定义路径表达式来选取文档中的节点或节点集。在网页爬虫中，XPath常用于精确定位和提取页面上的数据。本文将详细介绍XPath的基础语法、常见用法以及如何在爬虫中利用XPath获取页面元素。
python网页爬虫xpath应用
m0_58239511的博客
10-21 1499
xpath语法在爬虫中可以较为直观的获取数据
网页爬虫-八爪鱼Xpath自定义数字翻页
weixin_46179600的博客
01-21 2652
网页爬虫-八爪鱼Xpath自定义数字翻页，解决八爪鱼傻瓜式设置循环翻页采集数据停滞的问题~
【爬虫基础】万字长文详解XPath
记录我的学习历程
09-19 2120
XPath是一种用于在XML和HTML文档中查找和定位信息的查询语言。它允许你按照一定的规则描述路径，以定位文档中的特定元素或节点。XPath不仅用于解析文档，还可用于验证文档的结构、计算节点的值以及执行各种复杂的操作。无论你是在进行数据挖掘、爬虫开发还是测试自动化，XPath都是一个非常有用的工具。选择难度: 如果需要处理复杂的文档结构或选择操作，XPath可能更适合，但对于简单的操作，CSS选择器更直观。性能: 在处理大型文档时，CSS选择器通常具有较好的性能，但XPath在复杂选择操作时性能稍差。
XPath在python爬虫中的高级应用
weixin_39285616的博客
11-03 354
XPath在python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。 XPath介绍：  是什么？ 全称为XML Path Language 一种小型的查询语言  说道XPath是门语言，不得不说它所具备的优点：  1） 可在XML中查找信息  2） 支持HTML的查找 
详细分析Python爬虫中的xpath（附Demo）
码农研究僧的博客
04-07 3211
XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言 在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置
Python在网络爬虫中的应用1
08-04
Python在网络爬虫中的应用广泛且深入，尤其在自动化数据采集方面扮演着重要角色。网络爬虫，又称为Web Spider或网络机器人，是一种程序，用于自动地遍历互联网上的网页，采集所需信息。这种技术不仅服务于搜索引擎的...
Python爬虫案例二：获取虎牙主播图片(动态网站)
m0_74614835的博客
08-19 1520
params不能写在__init__()里面，因为__init__()只执行一次，params是变化的。'iPageNo': '{}'.format(i), # i是字符串。print('ok 第{}张--{}'.format(self.no, name))1.异步数据（即先返回HTML，再返回目标的数据，只是触发了JSON请求），不在HTML中。os.mkdir('../虎牙')测试链接：https://live.huya.com/# 构造7页的params。2.不能刷新网页，直接翻页。
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
m0_72599287的博客
08-24 1455
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
计算机毕业设计选题-基于python的OA办公管理系统【python-爬虫-大数据定制】
m0_73272351的博客
08-27 716
随着信息技术的飞速发展，企业对办公自动化的需求日益增长。传统的办公方式已经无法满足现代企业高效、便捷的管理需求。在这样的背景下，基于Python的OA办公管理系统应运而生，旨在通过技术手段优化办公流程，提高工作效率。Python作为一种广泛使用的编程语言，以其简洁的语法和强大的库支持，成为开发OA系统的理想选择。本课题的研究旨在探索如何利用Python开发一个高效、稳定且用户友好的OA办公管理系统，以适应现代企业办公自动化的发展趋势。尽管市场上已有多种OA办公管理系统，但它们在实际应用中仍存在一些问题。
scrapy学习笔记0827
m0_56366541的博客
08-27 326
我们自定义的数据类主要放在item.py文件中，一个文件可以定义多个数据类。Item基类：自定义数据类（如BookItem）的基类。Field类：用来描述自定义数据类包含哪些字段（如name、price等）。自定义一个数据类，只需继承Item，并创建一系列Field对象的类 属性（类似于在Django中自定义Model）即可。如下，你甚至还可以在自己自定义的代码上进行扩展。
python爬虫——入门
m0_67326897的博客
08-23 1209
万维网之所以叫做网，是因为通过点击超链接或者进入URL，我们可以访问任何网络资源，从一个网页跳转到另一个网页，所有的相关资源连接在一起，就形成了一个网。而爬虫呢，听名字就让人想起来一个黏糊糊的蠕虫或者蜘蛛等，实际上，爬虫本质上即使一个程序蜘蛛，按照一定的规则，自动沿着这张网抓取上面的信息。
搭建自己的金融数据源和量化分析平台（七）：定时更新上市公司所属行业门类及大类
克格莫（有需要的私信）
08-23 336
由于此前从深交所下载的股票信息中只有行业门类信息，没有行业大类信息，导致后续解析三大报表和量化选股的时候无法进行：可以看到深交所的股票是没有大类信息的。再看看上交所的保险股：因此需要将深交所股票的所属大类信息也添加上。这里可以直接使用中国上市公司协会每隔一段时间发布的《上市公司行业分类结果》。目前最新版本是《2023年下半年上市公司行业分类结果》具体的解析逻辑不再赘述，分析一下HTML的格式就能把最新的pdf拿到手来解析。import os。
python脚本：输入基因名，通过爬虫的方式获取染色体上的location。
liangbilin的博客
08-23 274
python脚本：输入基因名，通过爬虫的方式获取染色体上的location。
网络爬虫调研报告
最新发布
m0_38073539的博客
08-27 800
抓取并存储相关的内容。) , 它们实现的原理基本一致: 深度遍历网站的资源, 将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的。) , 它们实现的原理基本一致: 深度遍历网站的资源, 将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的。调用的页面、 需要注册才能访问的页面等, 对于这些网络的爬取被归结为深层网络的挖掘。调用的页面、 需要注册才能访问的页面等, 对于这些网络的爬取被归结为深层网络的挖掘。的方式获取到的资源全部抓取到本地, 包括网页和各种类型的文件, 如: 图片、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值