XPath Selector详解，scrapy框架下xpath选择器介绍

最新推荐文章于 2024-06-22 11:24:57 发布
最新推荐文章于 2024-06-22 11:24:57 发布
阅读量2.1k 收藏 14
点赞数 5
分类专栏： Python基础-爬虫-web开发-数据分析-全栈-AI 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38132105/article/details/104383128
版权
XPath Selector详解

Scrapy爬虫参考博客
XPath 是一门在 XML、HTML、XHTML 文档中查找信息的语言。（以下能在XML中的操作都能在HTML中执行）

什么是 XPath?

1：XPath 使用路径表达式在 XML 文档中进行导航
2：XPath 包含一个标准函数库
3：XPath 是 XSLT 中的主要元素
4：XPath 是一个 W3C 标准

XPath 路径表达式

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

XPath 标准函数

XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。

节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

<body>
   <title lang="en">liming</title>
   <author>zhaosi</author>
   <year>25</year>
   <price>25</price>
</body>

<body> (文档节点)
<author>zhaosi</author> (元素节点)
lang="en" (属性节点)
基本值或称原子值

基本值是无父或无子的节点。例如zhaosi，“en”

项目（Item）

项目是基本值或者节点。

节点关系

每个元素以及属性都有一个父，在上面的例子中，body 元素是 title、author、year 以及 price 元素的父。元素节点可有零个、一个或多个子。在上面的例子中，title、author、year 以及 price 元素都是 body 元素的子。拥有相同的父的节点，title、author、year 以及 price 元素都是同胞。父亲及父亲的父亲叫先辈，儿子及儿子的儿子叫后代。

XPath 语法

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

实例
<?xml version="1.0" encoding="UTF-8"?>
 
<bookstore>
 
<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>
 
<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>
 
</bookstore>
选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式：

表达式描述
nodename选取此节点的所有子节点
/从根节点选取
//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.选取当前节点
…选取当前节点的父节点
@选取属性

在下面的表格中，列出了一些路径表达式以及表达式的结果：

路径表达式描述
bookstore选取 bookstore 元素的所有子节点
/bookstore选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book选取属于 bookstore 的子元素的所有 book 元素
//book选取所有 book 子元素，而不管它们在文档中的位置
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置
//@lang选取名为 lang 的所有属性
谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。在下面的表格中，列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式描述
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position()＜3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素
//title[@lang=‘eng’]选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00
/bookstore/book[price>35.00]//title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00
选取未知节点

XPath 通配符可用来选取未知的 XML 元素：

通配符描述
*匹配任何元素节点
@*匹配任何属性节点
node()匹配任何类型的节点

在下面的表格中，列出了一些路径表达式，以及这些表达式的结果：

路径表达式结果
/bookstore/*选取 bookstore 元素的所有子元素
//*选取文档中的所有元素
//title[@*]选取所有带有属性的 title 元素
选取若干路径

通过在路径表达式中使用"|"运算符，您可以选取若干个路径。在下面的表格中，列出了一些路径表达式，以及这些表达式的结果：

路径表达式结果
//book/title | //book/price选取 book 元素的所有 title 和 price 元素
//title | //price选取文档中的所有 title 和 price 元素
/bookstore/book/title | //price选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素
XPath 运算符

下面列出了可用在 XPath 表达式中的运算符：

运算符描述实例返回值
|计算两个节点集//book | //cd返回所有拥有 book 和 cd 元素的节点集
+加法6 + 410
-减法6 - 42
*乘法6 * 424
div除法8 div 42
=等于price=9.80如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。
!=不等于price!=9.80如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false
<小于price<9.80如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
<=小于或等于price<=9.80如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
>大于price>9.80如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
>=大于或等于price>=9.80如果 price 是 9.90，则返回 true。如果 price 是 9.70，则返回 false。
or或price=9.80 or price=9.70如果 price 是 9.80，则返回 true。如果 price 是 9.50，则返回 false。
and与price>9.00 and price<9.90如果 price 是 9.80，则返回 true。如果 price 是 8.50，则返回 false。
mod计算除法的余数5 mod 21
本文参考文档菜鸟教程
楊建业
关注
  • 5
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 60万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
Python爬虫之Scrapy框架系列（10）——Scrapy选择器selector
孤寒者的博客
01-31 8945
Python爬虫之Scrapy框架系列（10）——Scrapy选择器selector
java xpath selector_scrapy Selector用法及xpath语法
weixin_34405084的博客
03-01 168
准备工作html示例:texttest p1 next p1123test p2 next p2456test in p 78把该示例保存到test.html中.创建python文件，输入代码from scrapy.selector import Selectordoc = ''with open('./test.html', 'r') as f:doc = f.read()sel = Selec...
在scrapy中使用Selector提取数据
最新发布
少年吉的博客
06-22 2321
经院吉吉： 首先说明一下，在scrapy中使用选择器是基于Selector这个对象滴，selector对象在scrapy中通过XPATH或是CSS来提取数据的，我们可以自己创建selector对象，但在实际开发中我们不需要这样做，因为response内置有selector对象，我们可以直接调用其方法，scrapy源码中相关实现过程如下： 可以看到scrapy.selector模块在...
scrapy选择器xpath
qq_43966957的博客
11-15 683
scrapy选择器xpath
Python Scrapy使用Selector、xpath、css选择器提取数据
阿优乐扬的博客
08-01 7248
从页面中提取数据的核心技术是HTTP文本解析，在Python 中常用以下模块处理此类问题: BeautifulSoup lxml 非常流行的HTTP解析库，API 简洁易用，但解析速度较慢。 由C语言编写的xml解析库( libxml2)，解析速度更快，API相对复杂。 Scrapy综合上述两者优点实现了Selector 类，它是基于lxml库构建的，并简化了API接口。在Sc...
Python之网络爬虫（Xpath语法、Scrapy框架的认识）
Viewinfinitely的博客
07-05 425
文章目录一、Xpath语法二、Scrapy框架的认识 一、Xpath语法 xpath是一门在XML文档中查找信息的语言 1、 节点(Node) ​ 元素、属性、文本、命名空间、文档（根）节点 2、 节点关系 ​ 父（parent） ​ 子 （Children） ​ 同胞 （Sibling） ​ 先辈 （Ancestor） ​ 后代 （Descendant） 3、 xpath语法 表达式 描述 nodename 选取此节点的所有子节点 // 从任意子节点中选取（第一级） / 从根节
scrapy框架的学习使用、XPath的基本用法、爬取新闻数据
qq_43507388的博客
10-03 1732
scrapy框架的学习使用、XPath的基本用法、爬取新闻数据
Scrapy里面的Xpath解析器问题
晦涩难董先生
02-20 2261
Scrapy的Selector对象和lxml的Element对象有一些区别，所以在提取数据时需要使用相应的方法进行处理。scrapy会在内置里面处理得比较感觉,xpath会比较繁琐一些!Scrapy的XPath解析器在语法上与lxml类似，但在返回值类型、属性选择器、命名空间、默认上下文、默认转义和匹配顺序等方面有一些细微的差别。熟悉这些区别将有助于你更好地使用Scrapy进行数据抓取和解析。
java xpath selector_xpath 选择器高級用法 + Selector
weixin_39991222的博客
03-01 434
推荐使用：from parsel import SelectorSelector：可直接使用xpath，css ，re1、匹配某节点下的所有.////获取文档中所有匹配的节点，.获取当前节点，有的时候我们需要获取当前节点下的所有节点，.//一定要结合.使用//，否则都会获取整个文档的匹配结果.2、匹配包含某属性的所有的属性值//@langprint tree.xpath('//@code') #匹...
scrapy中xpath示例用法
06-23
- `Selector`是Scrapy中用于解析HTML和XML的主要类，它提供了使用XPath或CSS选择器的方法。 - `response.xpath()`：使用XPath表达式从响应对象中选取元素。 - `Selector.extract()`：将选取的元素转换为字符串...
scrapy爬虫之CSS选择器(比前面两个更全)
12-24
在Scrapy中，`Selector`类提供了对文档进行解析和提取数据的功能，而CSS选择器就是其主要的数据定位手段。使用CSS选择器，你可以像操作网页样式一样定位到需要抓取的元素。例如，你可以通过`response.css()`方法来...
用scrapy框架实现京东手机信息爬取
12-03
Scrapy是一个开源的Python爬虫框架，其设计目标是简化爬虫开发，支持中间件、调度器、下载器、爬虫等组件，允许自定义策略以适应不同类型的爬取需求。该项目中，Scrapy将被用来爬取京东网站上的手机商品信息。 2. ...
Python爬虫Scrapy框架使用
07-30
例如，`response.selector.xpath('//ul/li').extract()`将选取所有`<li>`元素，并返回一个选择器列表。 一旦我们开始爬取网页，可能会需要存储数据。Scrapy的Pipeline系统允许我们在数据被处理和存储之前进行自定义...
python scrapy框架讲解
02-05
4. **Selector**：Scrapy内置了XPath和CSS选择器，用于从HTML或XML文档中提取数据。它们提供了方便的方法，如`select()`（选择节点）和`re()`（正则表达式匹配）。 5. **Items**：定义你要抓取的数据结构。这通常是...
高斯滤波GaussianBlur()中参数详解
热门推荐
csdn_bajie
04-16 4万+
高斯滤波GaussianBlur()中参数详解： 高斯滤波是应用于图像处理，对图像进行滤波操作（平滑操作、过滤操作，去噪操作） 在python中的格式为： cv2.GaussianBlur（ SRC，ksize，sigmaX [，DST [，sigmaY [，borderType ] ] ] ） →DST 在c++中的格式为： void GaussianBlur（ InputArray src，...
opencv中cv2.waitkey()参数详解
csdn_bajie
02-24 1万+
opencv中cv2.waitkey()参数详解 cv2.waitkey(delay)，delay 的单位为ms毫秒，当 delay 取大于0的值时，程序在给定的 delay 时间内等待用户按键触发 ; 如果用户没有按下键,则继续等待下一个delay时间(循环)，知道用户按键触发，退出程序。 一般语法（结合python）： while(True): c = cv2.waitkey(50) if...
Python+OpenCV详细教程系列
csdn_bajie
03-03 1万+
Python+OpenCV详细教程系列 OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 OpenCV用C++语言编写，它的主要接口也是...
scrapy框架使用xpath
10-18
好的，关于Scrapy框架使用XPath，你可以在Scrapy的Spider中使用Selector来进行XPath选择器的操作。具体步骤如下： 1. 在Spider中引入Selector： ``` from scrapy.selector import Selector ``` 2. 在Spider的parse方法中使用Selector选择器： ``` def parse(self, response): # 使用Selector选择器选择需要的元素 sel = Selector(response) title = sel.xpath('//title/text()').extract_first() yield {'title': title} ``` 在上面的例子中，我们使用了`sel.xpath()`方法来选择页面中的`<title>`标签，并使用`extract_first()`方法提取出第一个匹配的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值