爬虫学习之XPath使用

最新推荐文章于 2024-06-21 18:47:26 发布

INGg__

最新推荐文章于 2024-06-21 18:47:26 发布

阅读量149

点赞数

分类专栏： Python爬虫学习

Python爬虫学习专栏收录该内容

5 篇文章 1 订阅

订阅专栏

学习blog：https://cuiqingcai.com/5545.html

使用XPath

概览

即XML路径语言，是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的

常用规则

表达式	描述
nodename	选取此节点的所有节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
…	选取当前节点的父节点
@	选取属性

实例

from lxml import etree
text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text) # 初始化html文本
result = etree.tostring(html) # 使用该方法即可输出修正后的html代码，但是是bytes类型的，需要用decode来进行解码
print(result.decode('utf-8'))

# 读取本地文件
html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))[]

节点

所有节点

html.xpath('//*')
html.xpath('//li') # 所有li节点

子节点

# /选取直接子节点，//同时获取所有子孙节点
html.xpath('//ul//a') # 两者返回的结果是不同的，
html.xpath('//ul/a') # 因为第二个ul直接的子节点没有a标签，所以是空的；第一个在li下有a所以有结果

父节点

通过..来实现知道了子节点来找父节点

html.xpath('//a[@href="link4.html"]/../@class')

现在首先选中 href 属性为 link4.html 的 a 节点，然后再获取其父节点，然后再获取其 class 属性

属性匹配

选取的时候使用@来对属性进行过滤

html.xpath('//li[@class="item-0"]') # 选取class为item-0的li节点

文本获取

使用text()方法获取节点文本，

如果要想获取子孙节点内部的所有文本，可以直接用 // 加 text() 的方式，这样可以保证获取到最全面的文本信息，但是可能会夹杂一些换行符等特殊字符。如果想获取某些特定子孙节点下的所有文本，可以先选取到特定的子孙节点，然后再调用 text() 方法获取其内部文本，这样可以保证获取的结果是整洁的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LwGkXZMH-1628481913407)(Xpath.assets/image-20210809111811000.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vDyxLuJH-1628481913409)(Xpath.assets/image-20210809111816470.png)]

属性获取

使用@，属性获取不需要用属性匹配那样的中括号

html.xpath('//li[@class="item-0"]//a//@href') # 获取li标签为那个熟悉底下的a标签的href属性
html.xpath('//li/a/@href') # 获取所有li节点下的a节点的href属性

属性多值匹配

可能一个属性中有多个值，使用contains函数

text = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li")]/a/text()')

多属性匹配

即运用逻辑运算符来进行匹配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RE688V1g-1628481913410)(Xpath.assets/1628480832998.jpg)]

按序选择

传入中括号

html.xpath('//li[1]/a/text()')
html.xpath('//li[last()]/a/text()')
html.xpath('//li[position()<3]/a/text()') # 位置小于3的节点
html.xpath('//li[last()-2]/a/text()')

节点轴的选择

即不指名其祖先或者子孙的具体标签来进行操作

运用名称时要使用::

XPath 提供了很多节点轴选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：

from lxml import etree

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html"><span>first item</span></a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/ancestor::*')
print(result)
result = html.xpath('//li[1]/ancestor::div')
print(result)
result = html.xpath('//li[1]/attribute::*')
print(result)
result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)
result = html.xpath('//li[1]/descendant::span')
print(result)
result = html.xpath('//li[1]/following::*[2]')
print(result)
result = html.xpath('//li[1]/following-sibling::*') `print(result)`

运行结果如下：

[<Element html at 0x107941808>, <Element body at 0x1079418c8>, <Element div at 0x107941908>, <Element ul at 0x107941948>]
[<Element div at 0x107941908>]
['item-0']
[<Element a at 0x1079418c8>]
[<Element span at 0x107941948>]
[<Element a at 0x1079418c8>]
[<Element li at 0x107941948>, <Element li at 0x107941988>, <Element li at 0x1079419c8>, <Element li at 0x107941a08>]