Chapter3.3 xpath内容整理

最新推荐文章于 2024-08-03 22:12:22 发布
最新推荐文章于 2024-08-03 22:12:22 发布
阅读量69 收藏
点赞数
分类专栏： scrapy学习 文章标签： xml python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27608761/article/details/121010712
版权

文章目录

3.3 XPath

  XPath即XML路径语言（XML Path Language），它是一种用来确定xml文档中某部分位置的语言。
  xml文档（html属于xml）是由一系列节点构成的树，例如：

<html>
	<body>
		<div >
			<p>Hello world<p>
			<a href="/home">Click here</a>
		</div>
	</body>
</html>`

  xml文档的节点有多种类型，其中最常用的有以下几种：

●　根节点　整个文档树的根。
●　元素节点　html、body、div、p、a。
●　属性节点　href。
●　文本节点　Hello world、Click here。

节点间的关系有以下几种：
●　父子　body是html的子节点，p和a是div的子节点。反过来，
div是p和a的父节点。
●　兄弟　p和a为兄弟节点。
●　祖先／后裔　body、div、p、a都是html的后裔节点；反过来
html是body、div、p、a的祖先节点。

3.3.1　基础语法

表3-1列出了XPath常用的基本语法。

表3-1　XPath常用的基本语法
表达式描述
/选中文档的根（root）
.选中当前节点
…选中当前节点的父节点
ELEMENT选中子节点中所有ELEMENT
//ELEMENT选中后代节点中所有ELEMENT元素节点
*选中所有元素子节点
text()选中所有文本子节点
@ATTR选中名为ATTR的属性节点
@*选中所有属性节点
谓语谓语用来查找某个特定的节点或者包含某个特定值的节点

  接下来，我们通过一些例子展示XPath的使用。
  首先创建一个用于演示的html文档，并用其构造一个 HtmlResponse对象：

>>>from scrapy.selector import Selector
>>>from scrapy.http import HtmlResponse
>>>body = '''
    <html>
     <head>
         <base href='http://example.com/' />
         <title>Example website</title>
     </head>
     <body>
         <a href='image0.html'>Name: Image 0 <br/><img src='image0.jpg'></a>
         <div id='images'>
             <a href='image1.html'>Name: Image 1 <br/><img src='image1.jpg'></a>
             <a href='image2.html'>Name: Image 2 <br/><img src='image2.jpg'></a>
             <a href='image3.html'>Name: Image 3 <br/><img src='image3.jpg'></a>
             <a href='image4.html'>Name: Image 4 <br/><img src='image4.jpg'></a>
             <a href='image5.html'>Name: Image 5 <br/><img src='image5.jpg'></a>
         </div>
     </body>
     </html>
'''
>>>response = HtmlResponse(url='http://www.example.com', body=body, encoding='utf-8')
>>>response
<200 http://www.example.com>

●　/ ： 描述一个从根开始的绝对路径。

>>> response.xpath('/html')
[<Selector xpath='/html' data='<html>\n     <head>\n         <base hre...'>]
>>>response.xpath('/html/head')
[<Selector xpath='/html/head' data='<head>\n         <base href="http://ex...'>]

●　E1/E2：选中E1子节点中的所有E2。

# 选中div子节点中的所有a
>>> response.xpath('/html/body/div/a')
[<Selector xpath='/html/body/div/a' data='<a href="image1.html">Name: Image 1 <...'>,
 <Selector xpath='/html/body/div/a' data='<a href="image2.html">Name: Image 2 <...'>,
 <Selector xpath='/html/body/div/a' data='<a href="image3.html">Name: Image 3 <...'>,
 <Selector xpath='/html/body/div/a' data='<a href="image4.html">Name: Image 4 <...'>,
 <Selector xpath='/html/body/div/a' data='<a href="image5.html">Name: Image 5 <...'>]

●　//E：选中文档中的所有E，无论在什么位置。

# 选中文档中的所有a
>>> response.xpath('//a')
[<Selector xpath='//a' data='<a href="image0.html">Name: Image 0 <...'>,#在div外的a标签
 <Selector xpath='//a' data='<a href="image1.html">Name: Image 1 <...'>,
 <Selector xpath='//a' data='<a href="image2.html">Name: Image 2 <...'>,
 <Selector xpath='//a' data='<a href="image3.html">Name: Image 3 <...'>,
 <Selector xpath='//a' data='<a href="image4.html">Name: Image 4 <...'>,
 <Selector xpath='//a' data='<a href="image5.html">Name: Image 5 <...'>]

●　E1//E2：选中E1后代节点中的所有E2，无论在后代中的什么位置。

# 选中body后代中的所有img
>>> response.xpath('/html/body//img')
[<Selector xpath='/html/body//img' data='<img src="image0.jpg">'>,
 <Selector xpath='/html/body//img' data='<img src="image1.jpg">'>,
 <Selector xpath='/html/body//img' data='<img src="image2.jpg">'>,
 <Selector xpath='/html/body//img' data='<img src="image3.jpg">'>,
 <Selector xpath='/html/body//img' data='<img src="image4.jpg">'>,
 <Selector xpath='/html/body//img' data='<img src="image5.jpg">'>]

●　E/text()：选中E的文本子节点。

# 选中所有a的文本
>>> sel = response.xpath('//a/text()')
>>> sel
[<Selector xpath='//a/text()' data='Name: Image 0 '>,
 <Selector xpath='//a/text()' data='Name: Image 1 '>,
 <Selector xpath='//a/text()' data='Name: Image 2 '>,
 <Selector xpath='//a/text()' data='Name: Image 3 '>,
 <Selector xpath='//a/text()' data='Name: Image 4 '>,
 <Selector xpath='//a/text()' data='Name: Image 5 '>]
 
 >>> sel.extract()
 ['Name: Image 0 ',
 'Name: Image 1 ',
 'Name: Image 2 ',
 'Name: Image 3 ',
 'Name: Image 4 ',
 'Name: Image 5 ']

●　E/*：选中E的所有元素子节点。

# 选中html的所有元素*子节点*
>>> response.xpath('/html/*')
[<Selector xpath='/html/*' data='<head>\n         <base href="http://ex...'>,
 <Selector xpath='/html/*' data='<body>\n         <a href="image0.html"...'>]

# 选中div的所有*后代元素节点*
>>> response.xpath('/html/body/div//*')
>[<Selector xpath='/html/body/div//*' data='<a href="image1.html">Name: Image 1 <...'>,
 <Selector xpath='/html/body/div//*' data='<br>'>,
 <Selector xpath='/html/body/div//*' data='<img src="image1.jpg">'>,
 <Selector xpath='/html/body/div//*' data='<a href="image2.html">Name: Image 2 <...'>,
 <Selector xpath='/html/body/div//*' data='<br>'>,
 <Selector xpath='/html/body/div//*' data='<img src="image2.jpg">'>,
 <Selector xpath='/html/body/div//*' data='<a href="image3.html">Name: Image 3 <...'>,
 <Selector xpath='/html/body/div//*' data='<br>'>,
 <Selector xpath='/html/body/div//*' data='<img src="image3.jpg">'>,
 <Selector xpath='/html/body/div//*' data='<a href="image4.html">Name: Image 4 <...'>,
 <Selector xpath='/html/body/div//*' data='<br>'>,
 <Selector xpath='/html/body/div//*' data='<img src="image4.jpg">'>,
 <Selector xpath='/html/body/div//*' data='<a href="image5.html">Name: Image 5 <...'>,
 <Selector xpath='/html/body/div//*' data='<br>'>,
 <Selector xpath='/html/body/div//*' data='<img src="image5.jpg">'>]

●　*/E：选中孙节点中的所有E。

# 选中div孙节点中的所有img
>>> response.xpath('//div/*/img')
[<Selector xpath='//div/*/img' data='<img src="image1.jpg">'>,
 <Selector xpath='//div/*/img' data='<img src="image2.jpg">'>,
 <Selector xpath='//div/*/img' data='<img src="image3.jpg">'>,
 <Selector xpath='//div/*/img' data='<img src="image4.jpg">'>,
 <Selector xpath='//div/*/img' data='<img src="image5.jpg">'>]

●　E/@ATTR：选中E的ATTR属性。

# 选中所有img的src 属性
>>> response.xpath('//img/@src')
[<Selector xpath='//img/@src' data='image0.jpg'>,
 <Selector xpath='//img/@src' data='image1.jpg'>,
 <Selector xpath='//img/@src' data='image2.jpg'>,
 <Selector xpath='//img/@src' data='image3.jpg'>,
 <Selector xpath='//img/@src' data='image4.jpg'>,
 <Selector xpath='//img/@src' data='image5.jpg'>]

●　//@ATTR：选中文档中所有ATTR属性。

# 选中所有的href 属性
>>> response.xpath('//@href')
[<Selector xpath='//@href' data='http://example.com/'>,
 <Selector xpath='//@href' data='image0.html'>,
 <Selector xpath='//@href' data='image1.html'>,
 <Selector xpath='//@href' data='image2.html'>,
 <Selector xpath='//@href' data='image3.html'>,
 <Selector xpath='//@href' data='image4.html'>,
 <Selector xpath='//@href' data='image5.html'>]

●　E/@*：选中E的所有属性。

# 获取第一个a 下img的所有属性（这里只有src 一个属性）
>>> response.xpath('//a[1]/img/@*')
[<Selector xpath='//a[1]/img/@*' data='image0'>,
 <Selector xpath='//a[1]/img/@*' data='image1'>]

●　.：选中当前节点，用来描述相对路径。

# 获取第1个a的选择器对象
>>> sel = response.xpath('//a')[0]
>>> sel
<Selector xpath='//a' data='<a href="image0.html">Name: Image 0 <...'>

# 假设我们想选中当前这个a 后代中的所有img，下面的做法是错误的，
# 会找到文档中所有的img
# 因为//img是绝对路径，会从文档的根开始搜索，而不是从当前的a 开始
>>> sel.xpath('//img')
>[<Selector xpath='//img' data='<img src="image0.jpg">'>,
 <Selector xpath='//img' data='<img src="image1.jpg">'>,
 <Selector xpath='//img' data='<img src="image2.jpg">'>,
 <Selector xpath='//img' data='<img src="image3.jpg">'>,
 <Selector xpath='//img' data='<img src="image4.jpg">'>,
 <Selector xpath='//img' data='<img src="image5.jpg">'>]
# 需要使用.//img 来描述当前节点后代中的所有img
>>> sel.xpath('.//img')
[<Selector xpath='.//img' data='<img src="image0.jpg">'>]

●　…：选中当前节点的父节点，用来描述相对路径。

# 选中所有img的父节点
>>> response.xpath('//img/..')
[<Selector xpath='//img/..' data='<a href="image0.html">Name: Image 0 <...'>,
 <Selector xpath='//img/..' data='<a href="image1.html">Name: Image 1 <...'>,
 <Selector xpath='//img/..' data='<a href="image2.html">Name: Image 2 <...'>,
 <Selector xpath='//img/..' data='<a href="image3.html">Name: Image 3 <...'>,
 <Selector xpath='//img/..' data='<a href="image4.html">Name: Image 4 <...'>,
 <Selector xpath='//img/..' data='<a href="image5.html">Name: Image 5 <...'>]

●　node[谓语]：谓语用来查找某个特定的节点或者包含某个特定值的节点。

# 选中所有a 中的第3 个
>>> response.xpath('//a[3]')
[<Selector xpath='//a[3]' data='<a href="image3.html">Name: Image 3 <...'>]

# 使用last函数，选中最后1 个
>>> response.xpath('//a[last()]')#div外img0既是第一个又是最后一个
>[<Selector xpath='//a[last()]' data='<a href="image0.html">Name: Image 0 <...'>,
 <Selector xpath='//a[last()]' data='<a href="image5.html">Name: Image 5 <...'>]

# 使用position函数，选中前3 个
response.xpath('//a[position()<=3]')
[<Selector xpath='//a[position()<=3]' data='<a href="image0.html">Name: Image 0 <...'>,
 <Selector xpath='//a[position()<=3]' data='<a href="image1.html">Name: Image 1 <...'>,
 <Selector xpath='//a[position()<=3]' data='<a href="image2.html">Name: Image 2 <...'>,
 <Selector xpath='//a[position()<=3]' data='<a href="image3.html">Name: Image 3 <...'>]

# 选中所有含有id属性的div
>>> response.xpath('//div[@id]')
[<Selector xpath='//div[@id]' data='<div id="images">\n             <a hre...'>]

# 选中所有含有id属性且值为"images"的div
>>> response.xpath('//div[@id="images"]')
>[<Selector xpath='//div[@id="images"]' data='<div id="images">\n             <a hre...'>]

3.3.2　常用函数

  XPath还提供许多函数，如数字、字符串、时间、日期、统计等。
  在上面的例子中，我们已经使用了函数position()、last()。由于篇幅有限，下面仅介绍两个十分常用的字符串函数。
●　string(arg)：返回参数的字符串值。

>>> from scrapy.selector import Selector
>>> text = '<a href="#">Click here to go to the <strong>Next Page</strong></a>'
>>> sel = Selector(text=text)
>>> sel
<Selector xpath=None data='<html><body><a href="#">Click here to...'>

# 以下做法和sel.xpath('/html/body/a/strong/text()')得到相同结果
>>> sel.xpath('string(/html/body/a/strong)').extract()
>['Next Page']

# 如果想得到a 中的整个字符串'Click here to go to the Next Page'，
# 使用text()就不行了，因为Click here to go to the和Next Page 在不同元素下
# 以下做法将得到两个子串
>>>sels.xpath('/html/body/a//text()').extract()
['Click here to go to the ', 'Next Page']

# 这种情况下可以使用string()函数
>>> sel.xpath('string(/html/body/a)').extract()
['Click here to go to the Next Page']

●　contains(str1, str2)：判断str1中是否包含str2，返回布尔
值。

>>> text = '''
... <div>
... <p class="small info">hello world</p>
... <p class="normal info">hello scrapy</p>
... </div>
... '''
>>> sel = Selector(text=text)
>>> sel.xpath('//p[contains(@class, "small")]') # 选择class 属性中包含"small"
[<Selector xpath='//p[contains(@class, "small")]' data='<p class="small info">hello world</p>'>]
>>> sel.xpath('//p[contains(@class,"info")]') # 选择class 属性中包含"info"
[<Selector xpath='//p[contains(@class,"info")]' data='<p class="small info">hello world</p>'>,
 <Selector xpath='//p[contains(@class,"info")]' data='<p class="normal info">hello scrapy</p>'>]

关于XPath的使用先介绍到这里，更多详细内容可以参看XPath文
档：https://www.w3.org/TR/xpath/。

本文参照《精通Scrapy网络爬虫+（刘硕著）》PDF，并自己跑相关代码，代码内容稍作修改，来对xpath的使用方法进行笔记及方法解读，仅做参考和笔记复习使用

lee's work
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 全栈工程师必备面试题 300 道（2020 版）
Python美丽星球--微信(Felixzfb)
12-30 1万+
Python 全栈工程师核心面试 300 问深入解析（2020 版） Python 面试不仅需要掌握 Python 基础知识和高级语法，还会涉及网络编程、web 前端后端、数据库、网络爬虫、数据解析、数据分析和数据可视化等各方面的核心知识。针对网上资料参差不齐，并且自己上网寻找费时费力，效果还不好的问题，进行该 Chat 创作。 本人结合自己多年的开发经验，同时汲取网络中的精华，本着打造全网最全面...
PHP xpath提取网页数据内容代码解析
10-15
主要介绍了PHP xpath提取网页数据内容代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python使用xpath提取a标签中的img数据_使用xPath提取嵌套的“img src”
weixin_39533361的博客
12-04 3228
我对使用Scrapy或python来处理这个问题还比较陌生。我希望从几个不同的链接中提取，我在使用HTMLXPathSelector表达式(语法)时遇到问题。我查看了大量的文档以了解正确的语法，但是还没有找到解决方案。在下面是一个我试图从中提取“img src”的链接示例：from scrapy.spider import BaseSpiderfrom scrapy.selector import...
如何用 Python 爬取网页制作电子书
技术杂谈
01-23 9164
本文来自作者 孙亖 在 GitChat 上分享 「如何用 Python 爬取网页制作电子书」，「阅读原文」查看交流实录。「文末高能」编辑 | 哈比0 前言有人爬取数据分析黄金周旅游景点，有人爬取数据分析相亲，有人大数据分析双十一，连小学生写论文都用上了大数据。我们每个人每天都在往网上通过微信、微博、淘宝等上传我们的个人信息，现在就连我们的钱都是放在网上，以后到强人工智能，我们连决策都要依靠网络。网
胖子哥的大数据之路（6）- NoSQL生态圈全景介绍
数据饕餮
02-07 841
引言： 　　NoSQL高级培训课程的基础理论篇的部分课件，是从一本英文原著中做的摘选，中文部分参考自互联网。给大家分享。 正文：  The NoSQL Ecosystem  目录 The NoSQL Ecosystem... 1 13.1. What's in a Name?. 5 13.1.1. SQL and the Relational Model 6 13.1.2. NoS
爬虫学习笔记（总）
weixin_53312629的博客
09-01 3237
本篇文章是对爬虫笔记系列文章的汇总，包含爬虫的介绍、request的使用、数据解析和验证码识别、异步爬虫、scrapy框架、增量式爬虫以及异步编程等内容。
网络爬虫集合【看这一篇就够了】
过期的秋刀鱼
07-25 6554
通过编写程序，模拟浏览器去上网，然后让其去互联网上抓取数据的过程爬虫分类爬虫的矛与盾：反爬机制： 门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取反反爬策略： 爬虫程序可以通过指定相关策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中相关的数据robots.txt协议：君子协议，规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬虫爬取 HTTP&HTTPS协议当前URL地址在数据传输的时候遵循的HTTP协议协议：就是两个计算机之间为了能够流畅的进行沟通
琐记之零散知识点（java相关的零散知识都丢这里）
乘风破浪
09-25 4030
2．EJB(Enterprise JavaBeans)使得开发者方便地创建、部署和管理跨平台的基于组件的企业应用。 　　3．Java RMI(Java Remote Method Invocation)用来开发分布式Java应用程序。一个Java对象的方法能被远程Java虚拟机调用。这样，远程方法激活可以发生在对等的两端，也可以发生在客户端和服务器之间，只要双方的应用程序都是用Java写的。
XML学习笔记
走马观花
08-07 1871
http://blog.csdn.net/zxpo/article/details/4020701 第三篇： 学习xml 之"实体"篇          xml包含的7大基础概念：                 1、元素　　在xml将xml数据划分为不同部分和语义的标签,如：               2、属性　　对元素进行描述和修饰。
xml学习
04-08 1477
xpath简介_动力节点Java学院整理
10-19
XPath，全称XML Path Language，是一种在XML文档中查找信息的语言。它被设计用来选取XML文档中的节点，包括元素、属性、文本、命名空间、处理指令以及注释等七种类型的节点。XPath通过路径表达式来选取这些节点，其...
xpath入门教程整理
10-08
xpath入门教程整理、值得下载、不差这一分、xpath解析xml结构非常牛。
谷歌浏览器XPath2.0插件
06-23
XPath（XML Path Language）是一种在XML文档中查找信息的语言，它允许我们通过路径表达式来选取节点，比如元素、属性和文本等。XPath 2.0是XPath的第二个主要版本，增加了更多的功能和优化。 在没有XPath Helper的...
XMLDecoder反序列化
2301_79724395的博客
08-02 378
因为比较简单，自己也没有去复现一下怎么的，也没有去调试，其实调试就是调试对标签的解析过程参考https://www.freebuf.com/articles/web/321222.html的解析过程参考https://www.freebuf.com/articles/web/321222.html图片都是用的这个链接的。
XML 学习笔记
starry-sea1412的弃坑之路
08-03 836
XML（可扩展标记语言）是一种用于描述数据结构和存储数据的标记语言。其设计目标是使数据易于共享和传输，实现不同应用程序与系统之间的数据互操作性。XML是一种文本文件，使用标记对数据进行分组和分类，因此易于理解和处理。
JetBrains：XML tag has empty body警告
weiweiqiao的专栏
08-02 246
在xml文件中配置时，因为标签内容为空，出现黄色警告影响观感。通过IDE配置关闭告警。
[NCTF2019]Fake XML cookbook1
最新发布
kw741951的博客
08-03 186
猜测可能为sql注入，或者绕过，思路查看源码，看有用信息。
【Python】pandas：排序、重复值、缺省值处理、合并、分组
yannan20190313的博客
07-30 1253
【Python】pandas：排序（sort_index,sort_values,nsmallest,nlargest）、重复值（duplicated,drop_duplicates,value_counts,nunique）、缺省值处理（isna,isnull,notna,notnull,fillna,dropna,replace）、合并（join,merge,append,concat）、分组（groupby）
selenium利用xpath获取内容
07-17
使用 Selenium 和 XPath 获取内容的步骤如下： 1. 导入必要的库和类： ```python from selenium import webdriver from selenium.webdriver.common.by import By ``` 2. 创建 WebDriver 实例： ```python driver =...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值