xpath的使用

最新推荐文章于 2022-10-23 15:34:33 发布
最新推荐文章于 2022-10-23 15:34:33 发布
阅读量366 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44621343/article/details/117175008
版权

09.xpath的使用

本文参考 | 菜鸟教程

文章目录

一、基本介绍

什么是 XPath?

  • XPath 是一门在html中查找数据的语言

节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。

xpath解析原理:

  1. 实现标签的定位：实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

  2. 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

xpath语法（需要掌握的）

表达式描述
nodename选取此节点的所有子节点。
/从根节点选取。
//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.选取当前节点。
…选取当前节点的父节点。
@选取属性。

其他语法（了解）

*通配符，选择所有元素节点与元素名
@*选取所有属性
[@attrib]选取具有给定属性的所有元素
[@attrib=‘value’]选取给定属性具有给定值的所有元素
[tag]选取所有具有指定元素的直接子节点
[tag=‘text’]选取所有具有指定元素并且文本内容是text节点

二、环境的安装

环境的安装

pip install lxml
1

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

如何实例化一个etree对象

1.将本地的html文档中的源码数据加载到etree对象中:

etree. parse(filePath)#你的文件路径

2.可以将从互联网上获取的源码数据加载到该对象中

etree.HtML('page_ text')#page_ text互联网中响应的数据

三、基本使用

doc='''
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html' name='sss'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html' name='lqz'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html' class='li'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
  </div>
 </body>
</html>
'''
from lxml import etree

# 传入要解析的内容
html=etree.HTML(doc)

# res=html.xpath('//body')
# print(res)

# 1 所有节点
# a=html.xpath('//*')




# 2 指定节点（结果为列表）
# a=html.xpath('//head')
# 3 子节点，子孙节点
# a=html.xpath('//div/a')
# a=html.xpath('//body/a') #无数据
# a=html.xpath('//body//a')
# 4 父节点
# a=html.xpath('//body//a[@href="image1.html"]/..')
# a=html.xpath('//body//a[@href="image1.html"]')
# a=html.xpath('//body//a[1]/..')
# 也可以这样
# a=html.xpath('//body//a[1]/parent::*')
# 5 属性匹配
# a=html.xpath('//a[@href="image1.html"]')

# 6 文本获取  text()
# a=html.xpath('//body//a[@href="image1.html"]/text()')
# a=html.xpath('//a/text()')

# 7 属性获取
# a=html.xpath('//body//a/@href')
# # 注意从1 开始取（不是从0）
# a=html.xpath('//body//a[2]/@href')
# 8 属性多值匹配
#  a 标签有多个class类，直接匹配就不可以了，需要用contains
# a=html.xpath('//a[@class="li"]')
# a=html.xpath('//body//a[contains(@class,"li")]')
# a=html.xpath('//body//a[contains(@class,"li")]/text()')
# 9 多属性匹配
# a=html.xpath('//body//a[contains(@class,"li") or @name="items"]')
# a=html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')
# a=html.xpath('//body//a[contains(@class,"li")]/text()')
# 10 按序选择
# a=html.xpath('//a[2]/text()')
# a=html.xpath('//a[2]/@href')
# a=html.xpath('//a[2]/@name')
# 取最后一个
# a=html.xpath('//a[last()]/@href')
# 位置小于3的
# a=html.xpath('//a[position()<3]/@href')
# 倒数第二个
# a=html.xpath('//a[last()-2]/@href')
# 11 节点轴选择
# ancestor：祖先节点
# 使用了* 获取所有祖先节点
# a=html.xpath('//a/ancestor::*')
# # 获取祖先节点中的div
# a=html.xpath('//a/ancestor::div')
# attribute：属性值
# a=html.xpath('//a[1]/attribute::*')
# child：直接子节点
# a=html.xpath('//a[1]/child::*')
# a=html.xpath('//a[1]/child::img')
# descendant：所有子孙节点
# a=html.xpath('//a[6]/descendant::*')
# following:当前节点之后所有节点
# a=html.xpath('//a[1]/following::*')
# a=html.xpath('//a[1]/following::*[1]/@href')
# following-sibling:当前节点之后同级节点
# a=html.xpath('//a[1]/following-sibling::*')
# a=html.xpath('//a[1]/following-sibling::a')
# a=html.xpath('//a[1]/following-sibling::*[2]/text()')
a=html.xpath('//a[1]/following-sibling::*[2]/@href')

print(a)

参考资料

CSDN参考链接

贾维斯Echo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
XPath 使用方法
07-16
xpath的使用方法
XPath 使用路径表达式来选取 XML 文档中的节点或节点集
guoyang9108的专栏
12-01 1186
下面列出了最有用的路径表达式： 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 例子： bookstore
XPath的使用
farkuai的博客
04-11 1661
XPath 本文主要分为三个部分，首先是将网页内容转为XPath解析对象，然后通过该对象进行节点的选择以及文本和属性的提取 注：来源于崔庆才<<python3爬虫实战开发2>>本人学习并分享，略有补充。 安装lxml库 在开始之前，安装lxml库，并能够运行。 pip install lxml XPath解析对象 我们可以通过etree.HTML()或etree.parse()这两个类来初始化XPath解析对象。 etree.HTML() from lxml import e
Xpath的使用
dyjffgkvfg的博客
04-07 293
系列文章目录 第一章 爬虫入门之xpath的使用 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统.
xpath使用手册
12-18
归纳整理的xpath使用手册，在自动化工作中，xpath使用很频繁。
XPath使用说明
12-20
简述：XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
XPATH 使用手册个人总结版本
最新发布
03-17
个人在学习 xpath 的过程中，记录的一些属性用法。关注公众号：pctansuo 中文名称：爬虫探索者可以获得 python 学习资料，相关资源
Xpath使用实例简单粗暴.pdf
09-24
Xpath使用实例简单粗暴.pdf
Xpath使用
Jayj1997的博客
09-09 285
我的Python学习19/9/9Xpath学习Xpath节点XML实例文档XMl实例文档 Xpath学习 爬虫，避免不了使用Xpath工具，Xpath是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。所以在学习之余发一篇博客加深印象。 Xpath节点 在Xpath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（又称为根节点） <?x...
Xpath使用教程
今晚摸鱼
08-31 4344
什么是XPath? xpath(XML Path Language)是一门在XML和HTMl文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. XPath开发工具 Chrome插件XPath Helper. Firefox插件XPath Checker和Try XPath XPath语法 使用方式 使用//获取整个界面当中的元素，然后写签名，然后再写谓词进行提取。比如 ...
xpath用法
weixin_42336606的博客
06-14 448
# xpath：跟re, bs4, pyquery一样，都是页面数据提取方法。根据元素的路径来查找页面元素。# pip install lxml# element tree: 文档树对象from lxml.html import etreefrom fake_useragent import UserAgenthtml = """    &lt;div id='content'&gt;      ...
xpath基本使用
m0_46926492的博客
10-23 282
查询所有id属性中包以aa开头的div标签。查询所有id属性中包以aa结尾的div标签。查找所有div标签下的直接子节点h1的内容。查找所有id属性等于main的div标签。查询所有id属性中包含aa的div标签。查找所有包含id属性的div节点。获取第几个标签 索引从1开始。查找所有的class属性。获取节点内容转换成字符串。
一些常用的XPath语法
qq_38953577的博客
06-26 420
XPath 什么是XPath? ​ XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。起初 XPath 的提出的初衷是将其作为一个通用的、介于XPointer与XSLT间的语法模型。但是 XPath 很快的被开发者采用来当...
xpath的基本使用
weixin_43788986的博客
07-21 1598
首先我们先找一个html作为实验，可以随便在网上找个网址即可： 前期获取html如下： 1.选取所有节点 // 开头的 XPath 规则来选取所有符合要求的节点， * 代表匹配所有节点，也就是整个 HTML 文本中的所有节点都会被获取，可以看到返回形式是一个列表，每个元素是 Element 类型，其后跟了节点的名称，如 html、body、div、ul、li、a 等等，所有的节点都包含在列表中了。 输出一下result： 可以看到输出的是一个列表。 / 或 // 即可查找元素的子节点或子孙节点 我想查找d
XPath 使用简介
小黄瓜要编程的博客
05-30 660
Xpath使用简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 因此，对 XPath 的理解是很多高级 XML 应用的基础。 下面的示例显示一些基本的 XPath 表达式。通过将这些简单的表达式组合
xpath 使用 demo
06-02
好的，以下是一个简单的 XPath 使用示例： 假设我们有一个 HTML 页面，其中包含以下结构： ```html 这是标题 第一条内容 第二条内容 第三条内容 ``` 我们想要提取这个页面中的第二条内容，可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾维斯Echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值