爬虫笔记-XPath的使用

最新推荐文章于 2022-09-24 15:51:19 发布
最新推荐文章于 2022-09-24 15:51:19 发布
阅读量590 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python xpath html xml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44533129/article/details/106106363
版权

爬虫笔记-XPath使用

1 Xpath常用规则

在这里插入图片描述

2 Xpath实例，自动修正HTML文本

from lxml import etree

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
# html结果为byte类型
html = etree.HTML(text)
# 转为string
result = etree.tostring(html)
print(result.decode('utf-8'))

输出：

<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </li></ul>
 </div>
</body></html>

注意：补全HTML body 和节点

3 Xpath实例，读取HTML文件

test.html：

<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>

代码

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

输出：

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </li></ul>
 </div></body></html>

4 Xpath实例，获取所有节点

代码：

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = html.xpath('//*')
print(result)

输出：

[<Element html at 0x1f36602a0c8>, <Element body at 0x1f36602a108>, 
<Element div at 0x1f36602a148>, <Element ul at 0x1f36602a188>, <Element li at 
0x1f36602a1c8>, <Element a at 0x1f36602a248>, <Element li at 0x1f36602a288>, 
<Element a at 0x1f36602a2c8>, <Element li at 0x1f36602a308>, <Element a at 
0x1f36602a208>, <Element li at 0x1f36602a348>, <Element a at 0x1f36602a588>, 
<Element li at 0x1f36602a5c8>, <Element a at 0x1f36602a608>]

5 Xpath实例，获取指定节点

代码：

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
# 获取所有li节点
result = html.xpath('//li')
print(result)
# 第一个li节点
print(result[0])

输出：

[<Element li at 0x24cfa138288>, <Element li at 0x24cfa1383c8>, <Element li at 0x24cfa138408>, <Element li at 0x24cfa138448>, <Element li at 0x24cfa138488>]
<Element li at 0x24cfa138288>

6 Xpath实例，获取元素的子节点（通过//或者/）

/ 获取直接子节点
// 获取所有子孙节点
代码：

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
# 获取所有li节点下的所有直接a节点
result = html.xpath('//li/a')
print(result)

输出：

[<Element a at 0x19ff43fb188>, <Element a at 0x19ff43fb1c8>, <Element a at 0x19ff43fb208>, <Element a at 0x19ff43fb248>, <Element a at 0x19ff43fb288>]

注意： 这里如果用//ul/a，是获取不到数据的，因为li节点的直接子孙没有a节点
代码：

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
# 获取所有li节点下的所有子孙a节点
result = html.xpath('//li//a')
print(result)

输出：

[<Element a at 0x21d418782c8>, <Element a at 0x21d41878308>, <Element a at 0x21d41878348>, <Element a at 0x21d41878388>, <Element a at 0x21d418783c8>]

7 Xpath实例，获取父节点

使用…获取
代码：

from lxml import etree
# 使用..获取
html = etree.parse('./test.html', etree.HTMLParser())
# 属性值为link4.html的a节点的父节点
result = html.xpath('//a[@href="link4.html"]/../@class')
print(result)

输出：

['item-1']

使用parent::获取
代码：

from lxml import etree
# 使用parent::获取
html = etree.parse('./test.html', etree.HTMLParser())
# 属性值为link4.html的a节点的父节点
result = html.xpath('//a[@href="link4.html"]/parent::*/@class')
print(result)

输出：

['item-1']

8 Xpath实例，属性匹配过滤

代码：

from lxml import etree
# 使用@符号过滤
html = etree.parse('./test.html', etree.HTMLParser())
# 选取class为item-1的li节点,使用@class="item-0"是限制了节点的class属性为item-0
result = html.xpath('//li[@class="item-0"]')
print(result)

输出：

[<Element li at 0x28efa6d83c8>, <Element li at 0x28efa6d8408>]

9 Xpath实例，文本获取，text（）方法

先选取a节点再获取文本
代码：

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
# 先选取a节点再获取文本
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)

输出：

['first item', 'fifth item']

直接使用//获取文本
代码：

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
#直接使用//获取文本
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

输出：

['first item', 'fifth item', '\n     ']

10 Xpath实例，属性获取，@

代码：

from lxml import etree
# 获取li节点下a节点的href属性
html = etree.parse('./test.html', etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)

输出：

['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']

11 Xpath实例，属性多值获取 contains()

代码：

from lxml import etree
# 含有li li-first两个属性
text = '''<li class="li li-first"><a href="link.html">first item</a></li>'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li")]/a/text()')
print(result)

输出：

['first item']

12 Xpath实例，多个属性确定一个节点-and

代码：

from lxml import etree
# 含有li li-first和name两个属性
text = '''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li") and @name="item"]/a/text()')
print(result)

输出：

['first item']

注意： 这里的and是XPath的运算符，除了and还有许多其他运算符：
在这里插入图片描述

13 Xpath实例，按序选择

代码：

from lxml import etree

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text)
# 第一个li节点
result = html.xpath('//li[1]/a/text()')
print(result)
# 选取最后一个节点
result = html.xpath('//li[last()]/a/text()')
print(result)
# 选取位置小于3的li节点，也就是1和2
result = html.xpath('//li[position()<3]/a/text()')
print(result)
# 选取倒数第三个li节点
result = html.xpath('//li[last()-2]/a/text()')
print(result)

输出：

['first item']
['fifth item']
['first item', 'second item']
['third item']

14 Xpath实例，节点轴选择

代码：

from lxml import etree

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html"><span>first item</span></a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/ancestor::*')
print(result)
result = html.xpath('//li[1]/ancestor::div')
print(result)
result = html.xpath('//li[1]/attribute::*')
print(result)
result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)
result = html.xpath('//li[1]/descendant::span')
print(result)
result = html.xpath('//li[1]/following::*[2]')
print(result)
result = html.xpath('//li[1]/following-sibling::*')
print(result)

输出：

[<Element html at 0x26e6498d888>, <Element body at 0x26e6498d808>, <Element div at 0x26e6498d788>, <Element ul at 0x26e6498d8c8>]
[<Element div at 0x26e6498d788>]
['item-0']
[<Element a at 0x26e6498d8c8>]
[<Element span at 0x26e6498d788>]
[<Element a at 0x26e6498d8c8>]
[<Element li at 0x26e6498d808>, <Element li at 0x26e6498d908>, <Element li at 0x26e6498d948>, <Element li at 0x26e6498d988>]
黑面|书生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫笔记-解析库-Xpath
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
XPath解析库的使用
qq_39223223的博客
10-18 611
XPath概览 XPath的常用规则 准备工作 实例引入 所有节点 子节点 父节点 属性匹配 文本获取 属性匹配 属性多值匹配 多属性匹配 按序选择 节点轴选择 这里是我上手的用python爬取的知乎热榜的文章，随缘更新完善，欢迎知道批评：爬取知乎热榜问题 XPath概览 XPath选择功能强大，提供了非常简洁明了的路径选择表达式，另外还...
Element div at 0x35686c0
weixin_57178733的博客
09-24 561
Element div at 0x35686c0
XPath解析中的 'Element a at 0x5308a80'是什么
热门推荐
qq_22592457的博客
07-11 2万+
话不多说，直接上代码 以链家网为例，解析网页打印出来的东西居然不是想象中的html文件，而是“<Element html at 0x52e5c10>”这么个东西。这个东西其实是一个元素，后面会介绍到。现在还是说说怎么把这个东西变成我们能看懂的html内容吧。 from lxml import etree import requests from lxml.html import ...
python 中获取数据etree.HTML打印问题
weixin_37254196的博客
09-01 2153
废话不多说，直接开干！ 遇到问题python 请求数据转换etree.HTML ，需要打印看一下正常数据 问题是 <Element div at 0xaeef7c8> #怎么看数据 于是乎百度一下 response = requests.get(url=url.format(i), headers=headers) html = etree.HTML(response.text) # print(response.text) item_list = html.xpath('/htm
element常见错误
timeares的博客
01-02 1504
表单校验 在设置表单校验的时候，el-form-item上的prop属性的名称要和其内容的v-model绑定的属性名一样 表单验证出现错误原因：
python爬虫-mast笔记
05-31
在本篇Python爬虫-mast笔记中，我们将深入探讨Python爬虫的基本概念、常用库和实战技巧，帮助你掌握这一强大的数据获取工具。 首先，Python之所以在爬虫领域广泛应用，得益于其简洁明了的语法和丰富的第三方库。...
Scrapy学习笔记-Scrapy入门之创建爬虫
12-21
本文将深入讲解如何使用Scrapy创建一个基础的爬虫项目。 首先，要创建一个Scrapy项目，你需要在终端输入`scrapy startproject <project_name>`命令。在这个例子中，我们创建了一个名为`tutorial`的项目。这个命令会...
爬虫项目Music-main开发笔记
最新发布
06-22
在“爬虫项目Music-main开发笔记”中，我们可以探索到一系列关于网络爬虫开发的知识点。网络爬虫是一种自动化程序，用于抓取互联网上的信息，通常用于数据分析、搜索引擎索引和内容聚合。在这个项目中，我们可能涉及...
自己整理的Scrapy爬虫笔记
05-21
Scrapy爬虫笔记是一份详细的爬虫开发笔记，涵盖了Scrapy框架的基础知识、requests库的使用、lxml解析器的应用、正则表达式的匹配等多方面的内容。本笔记将带领读者深入了解Scrapy爬虫的开发过程，掌握爬虫开发的基础...
python使用xpath中遇到：<Element a at 0x39a9a80>到底是什么？
09-20
主要给大家详细介绍了关于python使用xpath中遇到：的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。
DTD-元素（Elements）
java_jvm的专栏
10-25 418
 在DTD里，声明元素用ELEMENT元素声明语法：or空元素例：xml  文档里：被解析字符数据的元素：例：任何内容的数据：例：带字元素的元素： or 例：当子元素（用逗号分隔）按顺序声明时，子元素必须按相应的顺序出现在文档中。例：声明一个仅出现一次子元素的元素例：这样message必须出
爬虫：Xpath定位
二十四桥明月夜
12-25 2545
对于网页的节点来说，定义id，class或其他属性。而且节点之间还有层级关系，在网页中通过XPath或CSS选择器来定位一个或多个节点，对于这种解析库非常多，其中比较强大的库有lmxl，Beautiful Soup、pyquery等， XPath概览 ...
(三) 爬虫教程 ｜解析库XPath的使用
weixin_45579930的博客
12-22 1049
在实现爬虫中，我们提取页面信息时使用的是正则表达式，这还是比较烦琐的，万一有地方写错了，可能会导致匹配失败。 在Python中还有很多强大的库lxml、Beautiful Soup、pyquery等，有了它们我们就不必要为正则表达式发愁，解析效率也会大大提高。 一、关于XPath概述 XPath 全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。 它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索 所以在做爬虫时，我们完全.
关于＜Element * at 0x******＞如何查看标签中的数据
hyd_csdn的博客
03-16 1万+
关于<Element * at 0x******>如何查看标签中的数据 from lxml import etree import requests url = 'https://www.pearvideo.com/' # 首页地址 data = { } headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (K
xpath进行数据解析基础教程
老猫的博客
07-07 684
源数据 <html lang="en"> <head> <meta charset="UTF-8" /> <title>测试bs4</title> </head> <body> <div> <p>百里守约</p> </div> <div class="song"> <p>李清照</p> <p>王安石</
是文档div
何加焉的博客
12-11 199
&lt;Element div at 0x2133d077dc8&gt;是文档div &lt;input name="mp" type="hidden" value="46"&gt; selector.xpath('//input[@name="mp"]')#这里只关注第一个属性值 int(controls[0].attrib['value']) pageNum = int(controls[0
【爬虫】Xpath高级用法
xueba8的博客
08-19 1444
xpath速度比较快，是爬虫在网页定位中的较优选择，但是很多网页前端代码混乱难以定位，而学习定位也较为不易（主要是全面的教程较少），这里列出一点编程过程中可能有用的东西，欢迎共同学习批评指正。 试验环境：Python环境，lxml.etree 试验所使用的html代码 &lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&g...
讲讲python使用xpath中遇到[<Element a at 0x39a9a80>到底是什么
weixin_33898233的博客
12-30 5233
写在前面 本人的所有文章只适合善于使用百度的人，因为所有基础知识个个博客复制粘贴了无数遍，我这里均不会详细讲述。 在这里我表示所有不经验证的转载都是耍流氓，把一篇篇错误的文章转载的到处都是，不知道浪费了多少人的时间精力去反复调试错误的代码，尤其是对初学者有极大的打击性。 大家在学习python爬虫的过程中，会发现一个问题，语法我看完了，说...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值