Python爬虫-解析库之XPath

最新推荐文章于 2024-04-23 23:55:37 发布
最新推荐文章于 2024-04-23 23:55:37 发布
阅读量814 收藏 2
点赞数
分类专栏： Python学习笔记 文章标签： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cherish1ove/article/details/85331480
版权

解析库之XPath

XPath简介

XPath，全称为XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。最初是用来搜寻XML文档的，但同样适用于HTML文档的搜索。更多详细信息可以参考：https://www.w3.org/TR/xpath 。

XPath常用规则

表达式描述
nodename选取此节点的所有子节点
/从当前节点选取直接子节点
//从当前节点选取子孙节点
.选取当前节点
..选取当前节点父节点
@选取属性

示例如：//title[@lang='eng']，这就是个XPath规则，它代表选择所有名称为title，同时属性lang的值为eng的节点。

示例引入

首先要确定安装lxml库，安装可以参考Python库的安装。

from lxml import etree

text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-2"><a href="link3.html">third item</a></li>
<li class="item-3"><a href="link4.html">fourth item</a></li>
<li class="item-4"><a href="link5.html">fifth item</a>
</ul>
</div>
'''

html = etree.HTML(text)
result = etree.tostring(html)
#这里的result是bytes类型，用decode转化为str类型
#print(type(result))
print(result.decode('utf-8'))

输出结果为：

<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-2"><a href="link3.html">third item</a></li>
<li class="item-3"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div>
</body></html>

可见，经过处理后，li节点标签全部被补全，并且还自动添加了body、html节点。
另外，还可以通过直接读取文本文件进行解析。

from lxml import etree

#test.html的内容就是上述例子中的HTML代码
html = etree.parse('test.html', etree.HTMLParser())
result = etree.tostring(html)
#这里的result是bytes类型，用decode转化为str类型
#print(type(result))
print(result.decode('utf-8'))

输出结果多了一个DOCTYPE的声明，对解析无任何影响。

所有节点

  • 用//开头的XPath规则来选取所有符合要求的节点。用上述HTML为例：

    from lxml import etree

#test.html的内容就是上述例子中的HTML代码
html = etree.parse('test.html', etree.HTMLParser())
#使用*代表匹配所有节点，也就是整个HTML文本中的所有节点都会被获取
result = html.xpath('//*')
print(result)

    结果：

    [<Element html at 0x2ca3bcaf148>, <Element body at 0x2ca3bcaf0c8>, <Element div at 0x2ca3bcaf088>, 
<Element ul at 0x2ca3bcaf188>, <Element li at 0x2ca3bcaf1c8>, <Element a at 0x2ca3bcaf248>, 
<Element li at 0x2ca3bcaf288>, <Element a at 0x2ca3bcaf2c8>, <Element li at 0x2ca3bcaf308>, 
<Element a at 0x2ca3bcaf208>, <Element li at 0x2ca3bcaf348>, <Element a at 0x2ca3bcaf388>,
 <Element li at 0x2ca3bcaf3c8>, <Element a at 0x2ca3bcaf408>]

    可见，返回形式是一个列表，每个元素是Element类型，其后跟了节点的名称，如html、body、div、ul、li、a等，所有节点都包含在列表中。

  • 也可以匹配指定节点名称。如果想获取所有li节点，示例如下：

    from lxml import etree

#test.html的内容就是上述例子中的HTML代码
html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//li')
print(result)
#结果为Element对象，列表形式，直接用中括号加索引
print(result[0])

    选取所有li节点，可以使用//，然后直接加上节点名称即可，调用时直接使用xpath()方法即可，结果如下：

    [<Element li at 0x23438b80088>, <Element li at 0x23438b80048>, <Element li at 0x23438b80148>, <Element li at 0x23438b80188>, <Element li at 0x23438b801c8>]
<Element li at 0x23438b80088>

子节点

  • 通过/或//可查找元素的子节点或子孙节点。如选择li节点的所有直接a子节点：

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
#通过追加/a即选择了所有li节点的所有直接a子节点
#//li用于选中所有li节点，/a用于选中li节点的所有直接子节点a，结合一起就是所有li节点的所有直接a子节点
result = html.xpath('//li/a')
print(result)

  • 用//获取所有子孙节点。要获取ul节点下的所有子孙节点：

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//ul//a')
print(result)

    这个运行结果是一样的，这里使用//ul/a，就无法获取任何结果了。因为/用于获取直接子节点，而在ul节点下没有直接的子节点，只有li节点，所以无法获取任何匹配结果。

父节点

  • ..可以用来查找父节点。

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//a[@href="link2.html"]/../@class')
print(result)

    运行结果如下：

    ['item-1']

  • 还可以通过parent::来获取父节点

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)

属性匹配

@符号进行属性过滤。比如选取class为item-0的li节点：

from lxml import etree
	
html = etree.parse('test.html', etree.HTMLParser())
#加入[@class="item-0"]限制节点的class属性为item-0
result = html.xpath('//li[@class="item-0"]')
print(result)

文本获取

  • text()方法选取节点的文本。如要获取上述例子中li节点内部的文本有两种方式，一种是先选取a节点再获取文本，另一种就是使用//。

  • 方法1：先选取a节点再获取文本

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)

    运行结果：

    ['first item', 'fifth item']

    这里是逐层选取的，先选取了li节点，又利用/选取了其直接子节点a，然后再选取其文本，得到的结果恰好是符合预期的。

  • 方法2：使用//

    from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

    运行结果如下：

    ['first item', 'fifth item', '\r\n']

    这里出现的换行符是因为原文档缺失一个li标签，XPath自动填补，但是是加在下一行上，故而有个换行符。

  • 总而言之，如果想要获取子孙节点内部的所有文本，可以直接用//加text()的方式，可以保证获取到最全面的文本信息，但是可能会夹杂一些换行符等特殊字符。如果想要获取某些特定子孙节点下的所有文本，可以先选取到特定的子孙节点，然后再调用text()方法获取其内部文本，这样可以保证获取的结果是整洁的。

属性获取

@符号获取属性。如获取所有li节点下所有a节点的href属性：

from lxml import etree

html = etree.parse('test.html', etree.HTMLParser())
#注意与属性匹配的区别
result = html.xpath('//li/a/@href')
print(result)

运行结果：

['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']

属性多值匹配

有时候，某些节点的某个属性可能有多个值，如：

from lxml import etree

text = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
#html = etree.parse('test.html', etree.HTMLParser())
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)

这里的class属性有两个值li和li-first，此时用之前的属性匹配就无法操作了，匹配结果为空。这里要使用contains()函数，代码改下如下：

from lxml import etree

text = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
#html = etree.parse('test.html', etree.HTMLParser())
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li")]/a/text()')
print(result)

运行结果如下：

['first item']

可见，通过contains()方法，第一个参数传入属性名称，第二个参数传入属性值，只要属性中包含传入的属性值，就可以完成匹配了。

多属性匹配

还有一种情况，就是根据多个属性确定一个节点，这时就需要同时匹配多个属性。此时可以用and运算符来连接，示例如下：

from lxml import etree

text = '''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
'''
#html = etree.parse('test.html', etree.HTMLParser())
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')
print(result)

运算符及其介绍

运算符描述实例返回值
or或age=19 or age=20如果age是19则返回true。如果age是21，则返回false
and与age>=19 and age<20如果age是20则返回true。如果age是18，则返回false
mod计算除法的余数5 mod 21
|计算两个节点集//book | //cd返回所有拥有book和cd元素的节点集
+加6 + 410
-减6 - 42
*乘6*424
div除8 div 42
=等于age=19如果age是19则返回true。如果age是20，则返回false
!=不等于age!=19如果age是18则返回true。如果age是19，则返回false
<小于age<19如果age是18则返回true。如果age是19，则返回false
<=小于或等于age<=19如果age是19则返回true。如果age是20，则返回false
>大于age>20如果age是21则返回true。如果age是19，则返回false
>=大于或等于age>=20如果age是20则返回true。如果age是19，则返回false

按序选择

在选择的时候某些属性可能同时匹配多个节点，但是只想要其中的某个节点，如第二个节点或者最后一个节点，该怎么办呢？这时可以利用中括号传入索引的方法获取特定次序的节点，实例如下：

from lxml import etree

text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
#html = etree.parse('test.html', etree.HTMLParser())
html = etree.HTML(text)
#选取第一个li节点，[1]即可
result1 = html.xpath('//li[1]/a/text()')
print(result1)
#选取最后一个li节点，[last()]即可
result2 = html.xpath('//li[last()]/a/text()')
print(result2)
#选取位置小于3的li节点，即位置序号为1和2的节点，[position()<3]
result3 = html.xpath('//li[position()<3]/a/text()')
print(result3)
#选取倒数第三个li节点，last()-2。因为last()是最后一个，所以last()-2就是倒数第三个。
result4 = html.xpath('//li[last()-2]/a/text()')
print(result4)

运行结果如下：

['first item']
['fifth item']
['first item', 'second item']
['third item']

在xpath中提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列的等处理功能，具体作用可以参考：http://www.w3school.com.cn/xpath/xpath_functions.asp 。

节点轴选择

XPath提供了很多节点轴选择方法， 包括获取子元素、兄弟元素、父元素、祖先元素等，实例如下：

from lxml import etree

text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html"><span>first item</span></a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
#html = etree.parse('test.html', etree.HTMLParser())
html = etree.HTML(text)
#调用ancestor轴，可以获取所有祖先节点，其后需要跟两个冒号，然后是节点选择器，使用*表示匹配所有节点
#返回的结果是第一个li节点的所有祖先节点，包括html、body、div和ul
result1 = html.xpath('//li[1]/ancestor::*')
print(result1)

#加入限制条件，在冒号后面加div，得到的结果就只有div这个祖先节点了。
result2 = html.xpath('//li[1]/ancestor::div')
print(result2)
#调用attribute轴，可以获取所有属性值，其后跟的选择器*代表获取节点的所有属性，返回值就是li节点的所有属性值
result3 = html.xpath('//li[1]/attribute::*')
print(result3)
#调用child轴，可以获取所有直接子节点，加入限定条件，选取href属性为link.html的a节点
result4 = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result4)
#调用descendant轴，可以获取所有子孙节点，加入span限定条件，返回结果只包含span节点
result5 = html.xpath('//li[1]/descendant::span')
print(result5)
#following轴，可以获取当前节点之后的所有节点
result6 = html.xpath('//li[1]/following::*[2]')
print(result6)
#following-sibling轴，可以获取当前节点之后的所有同级别节点，其后使用*匹配，获取后续所有同级节点
result7 = html.xpath('//li[1]/following-sibling::*')
print(result7)

运行结果如下：

[<Element html at 0x1410ace0148>, <Element body at 0x1410ace00c8>, <Element div at 0x1410ace0088>, <Element ul at 0x1410ace0188>]
[<Element div at 0x1410ace0088>]
['item-0']
[<Element a at 0x1410ace0248>]
[<Element span at 0x1410ace0288>]
[<Element a at 0x1410ace0208>]
[<Element li at 0x1410ace0308>, <Element li at 0x1410ace0348>, <Element li at 0x1410ace0388>, <Element li at 0x1410ace03c8>]
江南小作坊
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用requests.get得到＜Element html at 0x271cec68f48什么意思？
黄佳俊的博客
04-25 2612
请注意这一行：html_page = etree.HTML(response_page.text)， etree.HTML()可以用来解析字符串格式的HTML文档对象，将传进去的字符串转变成_Element对象 说以你输出的是_Element对象,接下来就可以按照etree特定的语法规则去提取数据。 举例： import requests url = 'https://www.baidu.com' res = requests.get(url) html = res.text print(typ
xpath解析页面中文乱码
Tw_light的博客
12-04 3052
res = requests.get(url, headers = headers) # html = etree.HTML(res.text) 这样写后面进行处理时得到的内容乱码了 # 改为以下形式，可以正常显示中文 html = etree.HTML(res.content, parser = etree.HTMLParser(encoding='utf8'))
Python网络爬虫-详解XPath匹配网页数据
a910247的博客
04-23 1696
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。XPath使用路径表达式来选取XML文档中的节点或节点集。这些节点是通过沿着路径（path）或者步（steps）来选取的。XPath不仅可以用于搜寻XML文档，同样适用于HTML文档的搜索。XPath广泛应用于XML解析、XSLT转换、XPath查询等领域，是XML技术中的重要组成部分。它可以用于解析XML文档，并根据节点的层次结构和属性值来定位和选择节点。
用xpath出现Element 一堆字符怎么办？ python
dsfgdgsdf的博客
02-27 3857
print()打印之后出现这样的字符 [<Element p at 0x10263c300>, <Element p at 0x101562940>, <Element p at 0x1014d2fc0>, <Element p at 0x102669e40>, <Element p at 0x102669e80>, <Elemen...
爬虫解析库：XPath
lty_sky的专栏
04-11 358
XPath     XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览     XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 10...
关于＜Element * at 0x******＞如何查看标签中的数据
hyd_csdn的博客
03-16 1万+
关于<Element * at 0x******>如何查看标签中的数据 from lxml import etree import requests url = 'https://www.pearvideo.com/' # 首页地址 data = { } headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (K
XPath解析中的 'Element a at 0x5308a80'是什么
热门推荐
qq_22592457的博客
07-11 2万+
话不多说，直接上代码 以链家网为例，解析网页打印出来的东西居然不是想象中的html文件，而是“<Element html at 0x52e5c10>”这么个东西。这个东西其实是一个元素，后面会介绍到。现在还是说说怎么把这个东西变成我们能看懂的html内容吧。 from lxml import etree import requests from lxml.html import ...
爬虫笔记-解析库-Xpath
最新发布
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
python爬虫-解析-站长素材.py
10-14
python爬取站长素材网站图片代码2023 使用时候将要爬取的网站修改就可。 若网站后续有修改，需要矫正xpath路径。
python爬虫-mast笔记
05-31
在本篇Python爬虫-mast笔记中，我们将深入探讨Python爬虫的基本概念、常用库和实战技巧，帮助你掌握这一强大的数据获取工具。 首先，Python之所以在爬虫领域广泛应用，得益于其简洁明了的语法和丰富的第三方库。...
Python爬虫解析XPATH讲义
06-06
Python爬虫解析XPATH讲义 Python爬虫解析XPATH讲义是使用Python语言进行网络爬虫开发时，使用XPATH语言来提取HTML和XML文档中的信息的技术讲义。在本讲义中，我们将学习XPATH语言的基本概念、安装方法、路径表达式...
python使用xpath中遇到：<Element a at 0x39a9a80>到底是什么？
09-20
主要给大家详细介绍了关于python使用xpath中遇到：的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。
Python爬虫Chrome网页解析工具-XPath Helper插件
05-26
在Python爬虫开发中，XPath Helper是一款非常实用的Chrome浏览器插件，它为开发者提供了便捷的方式来解析和测试网页结构，特别是在处理XML或HTML文档时。XPath（XML Path Language）是一种在XML文档中查找信息的语言...
Html的基本元素(Element)
weixin_30509393的博客
07-13 351
本人写这篇文章是我在IT修真园里学习了一段时间，反过来复习时整理的。虽然只是些基础知识内容，希望能帮到大家。 首先我们要了解所谓的html它的定义是什么？ 【html：超文本标记语言，文本：txt格式的文件，标记：用标签对给文本附加语义】 如果你已经通过上文对html有个了解后，我们就着手研究它的三个元素。 块级(block-level)元素和内联(inline)元素以及行内快元素(inl...
用Python写爬虫之selenium大法
leidawangzi的博客
11-21 2970
1 什么是selenium？ selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，但是我们可以将其用在爬虫开发上，通过自动操作浏览器，实现数据的获取。 Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。 2 安装selenium pip install selenium 3 安装浏览器驱动 推荐使用FireFox和Chrome。这里
爬虫：Xpath定位
二十四桥明月夜
12-25 2535
对于网页的节点来说，定义id，class或其他属性。而且节点之间还有层级关系，在网页中通过XPath或CSS选择器来定位一个或多个节点，对于这种解析库非常多，其中比较强大的库有lmxl，Beautiful Soup、pyquery等， XPath概览 ...
XPath解析中的 Element a at 0x5308a80 是什么
razerline的博客
05-31 9693
以链家网为例，解析网页打印出来的东西居然不是想象中的html文件，而是“<Element html at 0x52e5c10>”这么个东西。这个东西其实是一个元素，后面会介绍到。现在还是说说怎么把这个东西变成我们能看懂的html内容吧。 from lxml import etree import requests from lxml.html import fromstring, tostring url = 'http://sh.lianjia.com/ershoufang/pudong.
2021-08-18
a266867400的博客
08-18 252
本文通过requests模块进行网络请求，再通过xpath进行数据解析，可以将站长素材中任意页数的模板进行爬取和下载。
xpath常见用法
正心全栈编程
07-28 1617
本文在jupyter notebook下可以直接运行，选取的站点为猫眼电影top排行版。 本文是在异步社区出版图书《精通python爬虫框架scrapy》的第二章的帮助下完成的 # -*- encoding:utf-8 -*- import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (X...
Python爬虫教程第1季.pdf
10-27
"Python爬虫教程第1季.pdf" 是一份关于使用Python进行网络爬虫的教程，主要涉及Python的基础爬虫库安装、模块导入、以及XPath表达式用于网页解析。 教程首先介绍了如何安装必要的Python库，包括`requests`和`lxml`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值