(三) 爬虫教程 ｜解析库XPath的使用

已于 2022-04-16 08:40:03 修改
阅读量1k 收藏 7
点赞数
分类专栏： Python 爬虫 文章标签： python xpath
于 2020-12-22 14:46:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45579930/article/details/111550204
版权
  • 在实现爬虫中，我们提取页面信息时使用的是正则表达式，这还是比较烦琐的，万一有地方写错了，可能会导致匹配失败。
  • 在Python中还有很多强大的库lxml、Beautiful Soup、pyquery等，有了它们我们就不必要为正则表达式发愁，解析效率也会大大提高。

一、关于XPath概述

XPath 全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。
它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索
所以在做爬虫时，我们完全可以使用 XPath 来做相应的信息抽取。
XPath于1999年11月16日成为 W3C 标准，它被设计为供 XSLT XPointer 以及其他 XML 解析软件使用，更多的文档可以访问其官方网站
https://www.w3.org/TR/xpath/

二、xml的安装下载

pip install lxml

三、XPath常用规则

表达式描述
nodename选取此节点的所有子节点
/从当前节点选取直接子节点
//从当前节点选取子孙节点
.选取当前节点
. .选取当前节点的父节点
@选取属性

四、XPath的基础练习

4.1、实例引入

  • 1.首先，先导入lxml库的etree模块，声明了一段HTML文本。调用HTML类进行初始化，这样就成功构造了一个Xpath解析对象

  • 2.这里我们调用tostring()方法即可修正输出后的HTML代码，但是结果是bytes类型，这里利用decode()方法将其转成str类型

from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))
  • 3.这里可以发现，HTML文本中最后一个li节点是闭合的，但是etree模块可以自动修正HTML文本
  • 4.可以看到，经过处理之后，li节点标签被补全，并且还自动添加了body、html节点

输出结果如下：

<html><body><div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul> 
</div> 
</body></html>
  • 5.另外，我们也可以直接读取文本文件进行解析
from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果如下：

  • 这次输出结果多了DOCTYPE声明
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div>
</body></html>

4.2、所有节点

  • 1.一般我们会使用//开头的Xpath规则来选取所有符合要求的节点
  • 2.这里使用*代表匹配所有节点，也就是整个HTML文本中的所有节点都会被获取，可以看到返回形式是一个列表，每个元素是Element类型，后面跟了节点名称，如html、body、div、ul、li、a等
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//*')
print(result)

输出结果如下：
[<Element html at 0x7fb836095088>, <Element body at 0x7fb8360950c8>, <Element div at 0x7fb836095108>, <Element ul at 0x7fb836095148>, <Element li at 0x7fb836095188>, <Element a at 0x7fb836095208>, <Element li at 0x7fb836095248>, <Element a at 0x7fb836095288>, <Element li at 0x7fb8360952c8>, <Element a at 0x7fb8360951c8>, <Element li at 0x7fb836095308>, <Element a at 0x7fb836095348>, <Element li at 0x7fb836095388>, <Element a at 0x7fb8360953c8>]
  • 3.我们也可以匹配指定节点名称，例如我们想获取所有li节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li')
print(result)

输出结果：
[<Element li at 0x7fac490c10c8>, <Element li at 0x7fac490c1108>, <Element li at 0x7fac490c1148>, <Element li at 0x7fac490c1188>, <Element li at 0x7fac490c11c8>]
  • 4.可以看到提取结果似乎一个列表形式，其中每个元素都是一个Element对象，如果要取出其中的一个对象，可以直接添加索引
print(result[0])

4.3、子节点

  • 1.我们可以通过/或//即可查找元素的子节点或子孙节点，假如现在实现选择li节点的所有直接a子节点
  • 2.这里通过追加／ 即选择了所有 li 节点的所有直接a子节点。因为//li 用于选中所有 li 节点，/a用于选中 li 节点的所有直接子节点a，两者组合在一起即获取所有 li 节点的所有直接 a子节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a')
print(result)

输出结果：
[<Element a at 0x7f9fa28c10c8>, <Element a at 0x7f9fa28c1108>, <Element a at 0x7f9fa28c1148>, <Element a at 0x7f9fa28c1188>, <Element a at 0x7f9fa28c11c8>]
  • 3.此处的/用于选取直接子节点，如果想要获取所有子孙节点，就可以使用//。例如，要获取ul节点下的所有子孙节点，可以这样实现
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//ul//a')
print(result)
  • 4.运行结果是相同的。但是，如果这里使用//ul/a，就无法获取任何结果了。因为/用于获取直接子节点，而在ul节点下没有直接的a子节点，只有li节点，所以无法获取任何匹配结果
  • 5.⚠️我们要注意/和//的区别，/用于获取直接子节点，//用于获取子孙节点

4.4、父节点

  • 1.我们通过连续的/或//可以查找子节点或子孙节点，那么加入我们知道了子节点，怎样找到父节点呢？
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/../@class')
print(result)

输出：
['item-1']
  • 2.同时，我们也可以通过parent::来获取父节点
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/parent::*/@class')
print(result)

输出：
['item-1']

4.5、属性匹配

  • 在选取的时候，我们还可以用@符号进行属性过滤
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]')
print(result)

输出：
[<Element li at 0x7fef67f8a0c8>, <Element li at 0x7fef67f8a108>]

4.6、文本获取

  • 1.我们使用Xpath中的text()方法获取节点的文本，尝试获取前面li节点中的文本
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

输出：
['\n']
  • 2.奇怪的是，我们并没有获取到任何文本，只获取到了一个换行符，因为text()前面是/，而/的含义是选取直接子节点，很明显li的直接子节点都是a节点，文本都是在a节点内部的，所以这里匹配到的结果就是换行符
  • 3.因此，如果想获取li节点内部的文本，就有两种方式，一种是先选取a节点再获取文本，另外一种使用//
方法一：
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

输出：
['first item', 'fifth item', '\n']

方法二：
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)

输出：
['first item', 'fifth item']
  • 方法一中，我们可以看到，这里返回结果是3个，可想而知，这里选取的所有子孙节点的文本，其中两个就是li的子节点a节点内部的文本，另外一个就是最后一个li节点内部的文本
  • 方法二中，返回值是两个，内容都是属性为item-0的li节点的文本，这也印证了前面属性匹配的结果是正确的

所以说，如果想要获取子孙节点内部的所有文本，可以直接用//加text()的方式，这样可以保证获取到最全面的文本信息。
但是可能会夹杂这一些换行符等特殊字符，如果想要获取某些特定子孙节点下的所有文本，可以先选取到特定的子孙节点，然后调用text()方法获取其内部文本，这样可以保证获取的结果是整洁的

4.6、属性获取

  • 1.我们可以知道用text()可以获取节点内部文本，那么节点属性应该使用@符号就可以
  • 2.我们通过@href即可获取节点的href属性，注意，此处和属性匹配的方法不同，属性匹配是括号家属性名和值来限定某个属性，如[@href=“link1.html”],而此处的@href指的是获取节点的某属性，二者需要做好区分
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)

结果：
['link1.html', 'link2 html', 'link3 html', 'link4.html', 'link5.html']

4.7、属性多值匹配

有时候，某些节点的某个属性可能有多个值

from lxml import etree
text = """
<li class="li li-first"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)

输出：
[]
  • 这里的HTML文本中li节点的class属性有两个值li和li-first，此时如果还想用之前的属性匹配获取，就无法匹配了
  • 这时我们可以使用contains()函数
from lxml import etree
text = """
<li class="li li-first"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li")]/a/text()')
print(result)

输出：
['first item']
  • 这样通过contains()方法，第一个参数传入属性名称，第二个参数传入属性值，只要此属性包含所传入的属性值，就可以完成匹配了

4.8、多属性匹配

  • 1.这里的li节点又增加了一个属性name，要确定这个节点，需要同时根据class和name属性来选择
  • 2.一个条件是class属性里面包含li字符串，另一个条件是name属性为item字符串，二者需要同时满足，需要用and操作符相连，相连之后置于中括号内进行条件筛选
from lxml import etree
text = """
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
"""
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')
print(result)

输出：
['first item']

3.这里的and是xpath中的运算符，另外还有很多运算符，可以参考下表
在这里插入图片描述

4.9、按序选择

  • 有时候，我们在选择的时候某些属性可能同时匹配了多个节点，但是只想要其中的某个节点，如第二个节点或者最后一个节点，应该怎么做呢？
    • 1.第一次选择时，我们选取了第一个li节点，中括号中传入数字1即可。注意：这里和代码中不同，序号是以1开头，不是0
    • 2.第二次选择时，我们选取了最后一个li节点，中括号中传入last()即可，返回的便是最后一个li节点
    • 3.第三次选择时，我们选取了位置小于3的li节点，也就是位置序号为1和2的节点，得到的便是前面两个li节点
    • 4.第四次选择时，我们选取了倒数第三个li节点，中括号中传入last()-2,因为last()是最后一个，所以last()-2就是倒数第三个
from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result1 = html.xpath('//li[1]/a/text()')
print(result1)

result2 = html.xpath('//li[last()]/a/text()')
print(result2)

result3 = html.xpath('//li[position()<3]/a/text()')
print(result3)

result4 = html.xpath('//li[last()-2]/a/text()')

结果：
['first item']
['fifth item']
['first item', 'seconde item']

4.10、节点轴选择

XPath 提供了很多节点轴选择方法，包括获取子元素 、兄弟元素、父元素、祖先元素等

  • 1.第一次选择时，我们调用了 ancestor 轴，可以获取所有祖先节点 其后需要跟两个冒号，然后是节点的选择器，这里我 直接使用＊，表示匹配所有节点，因此返回结果是第一个 li 节点的所有祖先节点，包括 html body div ul
  • 2.第二次选择时，我们又加了限定条件，这次在冒号后面加了 div ，这样得到的结果就只有 div个祖先节点了
  • 3.第三次选择时，我们调用了 attribute 轴，可以获取所有属性值，其后跟的选择器还是＊，这代表获取节点的所有属性，返回值就是 li 节点的所有属性值
  • 4.第四次选择时，我们调用了 child 轴，可以获取所有直接子节点 这里我们又加了限定条件，选取href 属性为link1.html的a节点
  • 5.第五次选择时，我们调用了 descendant 轴，可以获取所有子孙节点，这里我们又加了限定条件，获取span 节点，所以返回的结果只包含 span 节点而不包含a节点
  • 6.第六次选择时，我们调用 following 轴，可以获取当前节点之后的所有节点 这里我们虽然使用的是＊匹配，但又加了索引选择，所以只获取了第二个后续节点
  • 7.第七次选择时，我们调用 following -sibling 轴，可以获取当前节点之后的所有同级节点
    里我们使用＊匹配，所以获取了所有后续同级节点
from lxml import etree

text = """
<div> 
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2 html">seconde item</a></li>
<li class="item-inactive"><a href="link3 html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> 
</div> 
"""

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result1 = html.xpath('//li[1]/ancestor::*')
print(result1)

result2 = html.xpath('//li[1]/ancestor::div')
print(result2)

result3 = html.xpath('//li[1]/attribute::*')
print(result3)

result4 = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result4)

result5 = html.xpath('//li[1]/descendant::sapn')
print(result5)

result6 = html.xpath('//li[1]/following::*[2]')
print(result6)

result7 = html.xpath('//li[1]/following-sibling::*')
print(result7)

输出：
[<Element html at 0x7feaf9fc1088>, <Element body at 0x7feaf9fc10c8>, <Element div at 0x7feaf9fc1108>, <Element ul at 0x7feaf9fc1148>]
[<Element div at 0x7feaf9fc1108>]
['item-0']
[<Element a at 0x7feaf9fc1208>]
[]
[<Element a at 0x7feaf9fc1288>]
[<Element li at 0x7feaf9fc1348>, <Element li at 0x7feaf9fc1388>, <Element li at 0x7feaf9fc13c8>, <Element li at 0x7feaf9fc1408>]

参考：
崔庆才《Python3网络爬虫开发实战》

爬虫解析库：XPath
01-20
所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览     XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 100 个内建函数，用于字符串、数值、时间的...
XPath定位中and、or、not、contains、starts-with和string(.)用法
机器学习
02-19 3万+
下文总结了XPath常用的text()、and、or、not、contains，当然也还有类似的position、last、ends_with、starts_with等等。 另外，举个例子解释下string(.)的用法： &amp;amp;amp;amp;amp;amp;amp;lt;div id=&amp;amp;amp;amp;amp;amp;quot;test3&amp;amp;amp;amp;amp;amp;quot;&amp;amp;amp;amp;amp;amp;
Python爬虫之xpath的详细使用（爬虫）
墨痕诉清风的博客
07-13 3万+
8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/---绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）
爬虫——XPath基本用法
最新发布
qq_53256193的博客
10-05 1957
xpth解析（1）本地文件 etree.parse（2）服务器响应的数据 response.read().decode('utf-8') etree.HTML()
学爬虫利器XPath,看这一篇就够了
libaiup的博客
12-19 3988
因为 XPath 中 text() 前面是 /，而此 / 的含义是选取直接子节点，而此处很明显 li 的直接子节点都是 a 节点，文本都是在 a 节点内部的，所以这里匹配到的结果就是被修正的 li 节点内部的换行符，因为自动修正的li节点的尾标签换行了。第一次选择我们调用了 ancestor 轴，可以获取所有祖先节点，其后需要跟两个冒号，然后是节点的选择器，这里我们直接使用了 *，表示匹配所有节点，因此返回结果是第一个 li 节点的所有祖先节点，包括 html，body，div，ul。
xpath 同时具有两个属性值，使用and连接即可
热门推荐
Good Luck
06-18 9万+
'//div[@class="icon item" and @rel="next"]/@href'
Python爬虫实战之xpath解析
阿浩的博客
08-01 4万+
XPath是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在Python爬虫中，我们经常使用xpath解析这种高效便捷的方式来提取信息。
爬虫笔记-解析库-Xpath
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
Python爬虫解析XPATH讲义
06-06
Python爬虫解析XPATH讲义 Python爬虫解析XPATH讲义是使用Python语言进行网络爬虫开发时，使用XPATH语言来提取HTML和XML文档中的信息的技术讲义。在本讲义中，我们将学习XPATH语言的基本概念、安装方法、路径表达式...
python爬虫之xpath的基本使用详解
09-20
在实际的爬虫项目中，XPath结合`lxml`库可以高效地解析HTML文档，提取所需数据，从而实现网页信息的自动化抓取。需要注意的是，不同的网站结构可能需要不同的XPath表达式，因此理解和熟练运用XPath是编写高效爬虫的...
XPath Helper：chrome爬虫网页解析工具
02-06
4. **提升爬虫效率**：在编写爬虫脚本时，可以使用XPath Helper来确定数据抽取的准确路径，避免因路径错误导致的无效抓取。这对于Python的Scrapy框架或BeautifulSoup库的使用者尤其有用。 5. **处理动态内容**：...
Python爬虫——XPath的使用
万里顾一程的博客
07-29 8503
可以用xpath插件来动态的获取xpath路径（将鼠标悬停在需要选取的文本数据上，然后按下shift按键就会自动出现定位该文本的Xpath表达式，然后再根据需求对表达式修改。先发送请求访问网站，得到网站源码，然后解析网站源码，从网站源码中使用xpath表达式定位到需要下载的图片地址，然后用urllib.request.urlretrieve()方法下载。4、调用xpath路径，提取数据，xpath的返回数据是列表类型。2、发送请求访问网站，得到服务器响应的页面源码。使用实例二从网站上下载图片。.......
python爬虫之xpath入门
hjc_042043的博客
03-19 3056
XPATH（XML Path Language）,它可以在 XML 和 HTML文档中对元素和属性进行查找和遍历。XPath 使用路径表达式来选取 XML 文档中的节点或节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常类似。使用chrome 插件选择标签时候，选中时，选中的标签会添加属性class=“xh-highlight”
5.网络爬虫——Xpath解析
weixin_50804299的博客
03-22 1万+
Xpath简介 XPath是一种用于在XML文档中定位节点的语言，它可以用于从XML文档中提取数据，以及在XML文档中进行搜索和过滤操作。它是W3C标准的一部分，被广泛应用于XML文档的处理和分析。 XPath使用路径表达式来描述节点的位置，这些路径表达式类似于文件系统中的路径。路径表达式由一个或多个步骤(step)组成，每个步骤描述了一个节点或一组节点。步骤可以使用关系运算符(如/和//)来连接，以便描述更复杂的节点位置。 XPath还提供了一些内置函数和运算符，可以对XML文档中的数据进行操作和计算
详细分析Python爬虫中的xpath（附Demo）
码农研究僧的博客
04-07 3512
XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言 在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置
Python爬虫解析工具之xpath使用详解
程序员小十一的博客
08-19 1万+
文中详解介绍了Python爬虫开发中常见的数据解析方式重点是xpath解析工具，如xpath概念、xpath插件安装、lxml库安装、xpath路径表达式、xpath结合Python代码的使用
python爬虫之xpath的使用
weixin_44992737的博客
08-20 5484
python爬虫之xpath的使用
数据解析之Xpath解析（超详细定位）
ChatYU的博客
09-21 1万+
XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能表达式说明举例从根节点开始选取//从任意节点开始选取//input选取当前节点..选取当前节点的父节点//input/..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值