(三) 爬虫教程 ｜解析库XPath的使用

已于 2022-04-16 08:40:03 修改
阅读量1k 收藏 7
点赞数
分类专栏： Python 爬虫 文章标签： python xpath
于 2020-12-22 14:46:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45579930/article/details/111550204
版权
  • 在实现爬虫中，我们提取页面信息时使用的是正则表达式，这还是比较烦琐的，万一有地方写错了，可能会导致匹配失败。
  • 在Python中还有很多强大的库lxml、Beautiful Soup、pyquery等，有了它们我们就不必要为正则表达式发愁，解析效率也会大大提高。

一、关于XPath概述

XPath 全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。
它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索
所以在做爬虫时，我们完全可以使用 XPath 来做相应的信息抽取。
XPath于1999年11月16日成为 W3C 标准，它被设计为供 XSLT XPointer 以及其他 XML 解析软件使用，更多的文档可以访问其官方网站
https://www.w3.org/TR/xpath/

二、xml的安装下载

pip install lxml

三、XPath常用规则

表达式描述
nodename选取此节点的所有子节点
/从当前节点选取直接子节点
//从当前节点选取子孙节点
.选取当前节点
. .选取当前节点的父节点
@选取属性

四、XPath的基础练习

4.1、实例引入

  • 1.首先，先导入lxml库的etree模块，声明了一段HTML文本。调用HTML类进行初始化，这样就成功构造了一个Xpath解析对象

  • 2.这里我们调用tostring()方法即可修正输出后的HTML代码，但是结果是bytes类型，这里利用decode()方法将其转成str类型

from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))
  • 3.这里可以发现，HTML文本中最后一个li节点是闭合的，但是etree模块可以自动修正HTML文本
  • 4.可以看到，经过处理之后，li节点标签被补全，并且还自动添加了body、html节点

输出结果如下：

<html><body><div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul> 
</div> 
</body></html>
  • 5.另外，我们也可以直接读取文本文件进行解析
from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果如下：

  • 这次输出结果多了DOCTYPE声明
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div>
</body></html>

4.2、所有节点

  • 1.一般我们会使用//开头的Xpath规则来选取所有符合要求的节点
  • 2.这里使用*代表匹配所有节点，也就是整个HTML文本中的所有节点都会被获取，可以看到返回形式是一个列表，每个元素是Element类型，后面跟了节点名称，如html、body、div、ul、li、a等
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//*')
print(result)

输出结果如下：
[<Element html at 0x7fb836095088>, <Element body at 0x7fb8360950c8>, <Element div at 0x7fb836095108>, <Element ul at 0x7fb836095148>, <Element li at 0x7fb836095188>, <Element a at 0x7fb836095208>, <Element li at 0x7fb836095248>, <Element a at 0x7fb836095288>, <Element li at 0x7fb8360952c8>, <Element a at 0x7fb8360951c8>, <Element li at 0x7fb836095308>, <Element a at 0x7fb836095348>, <Element li at 0x7fb836095388>, <Element a at 0x7fb8360953c8>]
  • 3.我们也可以匹配指定节点名称，例如我们想获取所有li节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li')
print(result)

输出结果：
[<Element li at 0x7fac490c10c8>, <Element li at 0x7fac490c1108>, <Element li at 0x7fac490c1148>, <Element li at 0x7fac490c1188>, <Element li at 0x7fac490c11c8>]
  • 4.可以看到提取结果似乎一个列表形式，其中每个元素都是一个Element对象，如果要取出其中的一个对象，可以直接添加索引
print(result[0])

4.3、子节点

  • 1.我们可以通过/或//即可查找元素的子节点或子孙节点，假如现在实现选择li节点的所有直接a子节点
  • 2.这里通过追加／ 即选择了所有 li 节点的所有直接a子节点。因为//li 用于选中所有 li 节点，/a用于选中 li 节点的所有直接子节点a，两者组合在一起即获取所有 li 节点的所有直接 a子节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a')
print(result)

输出结果：
[<Element a at 0x7f9fa28c10c8>, <Element a at 0x7f9fa28c1108>, <Element a at 0x7f9fa28c1148>, <Element a at 0x7f9fa28c1188>, <Element a at 0x7f9fa28c11c8>]
  • 3.此处的/用于选取直接子节点，如果想要获取所有子孙节点，就可以使用//。例如，要获取ul节点下的所有子孙节点，可以这样实现
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//ul//a')
print(result)
  • 4.运行结果是相同的。但是，如果这里使用//ul/a，就无法获取任何结果了。因为/用于获取直接子节点，而在ul节点下没有直接的a子节点，只有li节点，所以无法获取任何匹配结果
  • 5.⚠️我们要注意/和//的区别，/用于获取直接子节点，//用于获取子孙节点

4.4、父节点

  • 1.我们通过连续的/或//可以查找子节点或子孙节点，那么加入我们知道了子节点，怎样找到父节点呢？
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/../@class')
print(result)

输出：
['item-1']
  • 2.同时，我们也可以通过parent::来获取父节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/parent::*/@class')
print(result)

输出：
['item-1']

4.5、属性匹配

  • 在选取的时候，我们还可以用@符号进行属性过滤
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]')
print(result)

输出：
[<Element li at 0x7fef67f8a0c8>, <Element li at 0x7fef67f8a108>]

4.6、文本获取

  • 1.我们使用Xpath中的text()方法获取节点的文本，尝试获取前面li节点中的文本
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

输出：
['\n']
  • 2.奇怪的是，我们并没有获取到任何文本，只获取到了一个换行符，因为text()前面是/，而/的含义是选取直接子节点，很明显li的直接子节点都是a节点，文本都是在a节点内部的，所以这里匹配到的结果就是换行符
  • 3.因此，如果想获取li节点内部的文本，就有两种方式，一种是先选取a节点再获取文本，另外一种使用//
方法一：
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

输出：
['first item', 'fifth item', '\n']

方法二：
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)

输出：
['first item', 'fifth item']
  • 方法一中，我们可以看到，这里返回结果是3个，可想而知，这里选取的所有子孙节点的文本，其中两个就是li的子节点a节点内部的文本，另外一个就是最后一个li节点内部的文本
  • 方法二中，返回值是两个，内容都是属性为item-0的li节点的文本，这也印证了前面属性匹配的结果是正确的

所以说，如果想要获取子孙节点内部的所有文本，可以直接用//加text()的方式，这样可以保证获取到最全面的文本信息。
但是可能会夹杂这一些换行符等特殊字符，如果想要获取某些特定子孙节点下的所有文本，可以先选取到特定的子孙节点，然后调用text()方法获取其内部文本，这样可以保证获取的结果是整洁的

4.6、属性获取

  • 1.我们可以知道用text()可以获取节点内部文本，那么节点属性应该使用@符号就可以
  • 2.我们通过@href即可获取节点的href属性，注意，此处和属性匹配的方法不同，属性匹配是括号家属性名和值来限定某个属性，如[@href=“link1.html”],而此处的@href指的是获取节点的某属性，二者需要做好区分
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)

结果：
['link1.html', 'link2 html', 'link3 html', 'link4.html', 'link5.html']

4.7、属性多值匹配

有时候，某些节点的某个属性可能有多个值

from lxml import etree
text = """
<li class="li li-first"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)

输出：
[]
  • 这里的HTML文本中li节点的class属性有两个值li和li-first，此时如果还想用之前的属性匹配获取，就无法匹配了
  • 这时我们可以使用contains()函数
from lxml import etree
text = """
<li class="li li-first"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li")]/a/text()')
print(result)

输出：
['first item']
  • 这样通过contains()方法，第一个参数传入属性名称，第二个参数传入属性值，只要此属性包含所传入的属性值，就可以完成匹配了

4.8、多属性匹配

  • 1.这里的li节点又增加了一个属性name，要确定这个节点，需要同时根据class和name属性来选择
  • 2.一个条件是class属性里面包含li字符串，另一个条件是name属性为item字符串，二者需要同时满足，需要用and操作符相连，相连之后置于中括号内进行条件筛选
from lxml import etree
text = """
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')
print(result)

输出：
['first item']

3.这里的and是xpath中的运算符，另外还有很多运算符，可以参考下表
在这里插入图片描述

4.9、按序选择

  • 有时候，我们在选择的时候某些属性可能同时匹配了多个节点，但是只想要其中的某个节点，如第二个节点或者最后一个节点，应该怎么做呢？
    • 1.第一次选择时，我们选取了第一个li节点，中括号中传入数字1即可。注意：这里和代码中不同，序号是以1开头，不是0
    • 2.第二次选择时，我们选取了最后一个li节点，中括号中传入last()即可，返回的便是最后一个li节点
    • 3.第三次选择时，我们选取了位置小于3的li节点，也就是位置序号为1和2的节点，得到的便是前面两个li节点
    • 4.第四次选择时，我们选取了倒数第三个li节点，中括号中传入last()-2,因为last()是最后一个，所以last()-2就是倒数第三个
from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result1 = html.xpath('//li[1]/a/text()')
print(result1)

result2 = html.xpath('//li[last()]/a/text()')
print(result2)

result3 = html.xpath('//li[position()<3]/a/text()')
print(result3)

result4 = html.xpath('//li[last()-2]/a/text()')

结果：
['first item']
['fifth item']
['first item', 'seconde item']

4.10、节点轴选择

XPath 提供了很多节点轴选择方法，包括获取子元素 、兄弟元素、父元素、祖先元素等

  • 1.第一次选择时，我们调用了 ancestor 轴，可以获取所有祖先节点 其后需要跟两个冒号，然后是节点的选择器，这里我 直接使用＊，表示匹配所有节点，因此返回结果是第一个 li 节点的所有祖先节点，包括 html body div ul
  • 2.第二次选择时，我们又加了限定条件，这次在冒号后面加了 div ，这样得到的结果就只有 div个祖先节点了
  • 3.第三次选择时，我们调用了 attribute 轴，可以获取所有属性值，其后跟的选择器还是＊，这代表获取节点的所有属性，返回值就是 li 节点的所有属性值
  • 4.第四次选择时，我们调用了 child 轴，可以获取所有直接子节点 这里我们又加了限定条件，选取href 属性为link1.html的a节点
  • 5.第五次选择时，我们调用了 descendant 轴，可以获取所有子孙节点，这里我们又加了限定条件，获取span 节点，所以返回的结果只包含 span 节点而不包含a节点
  • 6.第六次选择时，我们调用 following 轴，可以获取当前节点之后的所有节点 这里我们虽然使用的是＊匹配，但又加了索引选择，所以只获取了第二个后续节点
  • 7.第七次选择时，我们调用 following -sibling 轴，可以获取当前节点之后的所有同级节点
    里我们使用＊匹配，所以获取了所有后续同级节点
from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result1 = html.xpath('//li[1]/ancestor::*')
print(result1)

result2 = html.xpath('//li[1]/ancestor::div')
print(result2)

result3 = html.xpath('//li[1]/attribute::*')
print(result3)

result4 = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result4)

result5 = html.xpath('//li[1]/descendant::sapn')
print(result5)

result6 = html.xpath('//li[1]/following::*[2]')
print(result6)

result7 = html.xpath('//li[1]/following-sibling::*')
print(result7)

输出：
[<Element html at 0x7feaf9fc1088>, <Element body at 0x7feaf9fc10c8>, <Element div at 0x7feaf9fc1108>, <Element ul at 0x7feaf9fc1148>]
[<Element div at 0x7feaf9fc1108>]
['item-0']
[<Element a at 0x7feaf9fc1208>]
[]
[<Element a at 0x7feaf9fc1288>]
[<Element li at 0x7feaf9fc1348>, <Element li at 0x7feaf9fc1388>, <Element li at 0x7feaf9fc13c8>, <Element li at 0x7feaf9fc1408>]

参考：
崔庆才《Python3网络爬虫开发实战》

Viviana-0
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫解析库：XPath
01-20
所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览     XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 100 个内建函数，用于字符串、数值、时间的...
爬虫笔记-解析库-Xpath
最新发布
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
XPath定位中and、or、not、contains、starts-with和string(.)用法
机器学习
02-19 3万+
下文总结了XPath常用的text()、and、or、not、contains，当然也还有类似的position、last、ends_with、starts_with等等。 另外，举个例子解释下string(.)的用法： &amp;amp;amp;amp;amp;amp;amp;lt;div id=&amp;amp;amp;amp;amp;amp;quot;test3&amp;amp;amp;amp;amp;amp;quot;&amp;amp;amp;amp;amp;amp;
xpath 同时具有两个属性值，使用and连接即可
热门推荐
Good Luck
06-18 9万+
'//div[@class="icon item" and @rel="next"]/@href'
详细分析Python爬虫中的xpath（附Demo）
码农研究僧的博客
04-07 1853
XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言 在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置
史上最全的xpath定位方法 全在这了!
weixin_43865008的博客
03-30 6万+
Xpath常用的定位方法 相信做过selenium UI自动化的朋友都知道，工作中大部分的元素定位都是使用xpath进行定位，所以xpath是UI自动化工作中非常重要的一个环节，所以我单独整理出来一篇博客出来~~希望对大家有帮助~ last()方法 当标签存在多个相同的时候，可以使用xpath中的last()方法，定位到最后一个 //标签名[last()] //span/ul//li[last()] 如果我们要定位到倒数第二个，可以在last() 后面加上 -1，代表倒数第二个 //标签名[last(
使用xpath来爬取
changan
09-30 164
xpath
Python爬虫解析XPATH讲义
06-06
Python爬虫解析XPATH讲义 Python爬虫解析XPATH讲义是使用Python语言进行网络爬虫开发时，使用XPATH语言来提取HTML和XML文档中的信息的技术讲义。在本讲义中，我们将学习XPATH语言的基本概念、安装方法、路径表达式...
python爬虫之xpath的基本使用详解
09-20
在实际的爬虫项目中，XPath结合`lxml`库可以高效地解析HTML文档，提取所需数据，从而实现网页信息的自动化抓取。需要注意的是，不同的网站结构可能需要不同的XPath表达式，因此理解和熟练运用XPath是编写高效爬虫的...
XPath Helper：chrome爬虫网页解析工具
02-06
4. **提升爬虫效率**：在编写爬虫脚本时，可以使用XPath Helper来确定数据抽取的准确路径，避免因路径错误导致的无效抓取。这对于Python的Scrapy框架或BeautifulSoup库的使用者尤其有用。 5. **处理动态内容**：...
爬虫 xpath() 基础+提升 必备秘籍 超详细 建议保留
04-08 618
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Python3爬虫——用Xpath提取网页信息
e_more_day的博客
02-04 3506
本文概述了Python3利用Xpath获得网页信息并返回的方法，内容有 Xpath的梗概和安装 Xpath常用规则 使用Xpath 接入HTML文本 从内存中读取 从文件中读取 查找节点 所有节点 指定节点 属性多值匹配 多属性匹配 选择顺序 查找子孙节点 查找父节点 获得属性和文本 节点轴选择
XPath and XML Namespaces
wang258148860的专栏
06-16 629
XPath and XML NamespacesIt’s great that in C# code you can easily reference XML nodes using the XmlDocument’s built-in XPath support:XmlNode titleNode = doc.SelectSingleNode("/html/head/title"
网络爬虫基础-Xpath语法(一)
DT数据技术博文(公众号)
01-02 2万+
前言 这一章节主要讲解Xpath的基础语法，学习如何通过Xpath获取网页中我们想要的内容;为我们的后面学习Java网络爬虫基础准备工作。 备注:此章节为基础核心章节，未来会在网络爬虫的数据解析环节经常使用，学会Xpath解析语法，可为未来爬虫解析省去很多麻烦。 Xpath简介        XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置
XPath and XSLT
徐祥军
12-09 167
http://www.w3.org/TR/1999/REC-xpath-19991116 http://www.w3.org/TR/1999/REC-xslt-19991116
Python爬虫之xpath的基本使用（解析HTML详细介绍）
废人一枚的博客
02-29 3万+
尽情等待，很快就会更新，谢谢大家的观看。
XPath常用规则
weixin_45659364的博客
07-14 1115
XPath，全称是XML Path Language，即XML路径语言，是一门在XML文档中查找信息的语言。最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索，所以完全可以使用XPath来做相应的信息抽取。 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 … 选取当前节点的父节点 @ 选取属性 文本获取 我们可以使用XPath中的text()方法获取节点中的文本，用法如下
python爬虫中xpath的使用方法
让算法融入生活，改变生活！
05-17 4613
python爬虫中xpath的使用方法 前言 使用案例 01.通过对应的a标签获取a标签中的内容 02.获取指定路径下a标签的属性 03.获取绝对路径下a标签属性等于link2.html的内容 04.(相对路径)查找所有li标签下的a标签内容 05.相对路径获取标签的属性 06.相对路径下查特定属性的方法 07.查找倒数第二个li标签里的a标签的href属性 在浏览器中获取xpath方法 ...
Python爬虫教程第1季.pdf
10-27
Python爬虫教程【第1季】.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值