XPath选择器(Xpath与lxml)

最新推荐文章于 2023-09-25 16:37:41 发布
最新推荐文章于 2023-09-25 16:37:41 发布
阅读量227 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42152274/article/details/88526870
版权

我正则用的不好，处理HTML文档很累，有没有其他的方法？

有！那就是XPath，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。

什么是XML

  • XML 指可扩展标记语言（EXtensible Markup Language）

  • XML 是一种标记语言，很类似 HTML

  • XML 的设计宗旨是传输数据，而非显示数据

  • XML 的标签需要我们自行定义。

  • XML 被设计为具有自我描述性。

  • XML 是 W3C 的推荐标准

W3School官方文档：http://www.w3school.com.cn/xml/index.asp

XML 和 HTML 的区别

数据格式描述设计目标
XMLExtensible Markup Language （可扩展标记语言）被设计为传输和存储数据，其焦点是数据的内容。
HTMLHyperText Markup Language （超文本标记语言）显示数据以及如何更好显示数据。
HTML DOMDocument Object Model for HTML (文档对象模型)通过 HTML DOM，可以访问所有的 HTML 元素，连同它们所包含的文本和属性。可以对其中的内容进行修改和删除，同时也可以创建新的元素。

XML文档示例

 

<?xml version="1.0" encoding="utf-8"?>

 

<bookstore>

 

<book category="cooking">

<title lang="en">Everyday Italian</title>

<author>Giada De Laurentiis</author>

<year>2005</year>

<price>30.00</price>

</book>

 

<book category="children">

<title lang="en">Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

<book category="web">

<title lang="en">XQuery Kick Start</title>

<author>James McGovern</author>

<author>Per Bothner</author>

<author>Kurt Cagle</author>

<author>James Linn</author>

<author>Vaidyanathan Nagarajan</author>

<year>2003</year>

<price>49.99</price>

</book>

 

<book category="web" cover="paperback">

<title lang="en">Learning XML</title>

<author>Erik T. Ray</author>

<year>2003</year>

<price>39.95</price>

</book>

 

</bookstore>

 

HTML DOM 模型示例

HTML DOM 定义了访问和操作 HTML 文档的标准方法，以树结构方式表达 HTML 文档。

XML的节点关系

1. 父（Parent）

每个元素以及属性都有一个父。

下面是一个简单的XML例子中，book 元素是 title、author、year 以及 price 元素的父：

 

<?xml version="1.0" encoding="utf-8"?>

 

<book>

<title>Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

2. 子（Children）

元素节点可有零个、一个或多个子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

 

<?xml version="1.0" encoding="utf-8"?>

 

<book>

<title>Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

3. 同胞（Sibling）

拥有相同的父的节点

在下面的例子中，title、author、year 以及 price 元素都是同胞：

 

<?xml version="1.0" encoding="utf-8"?>

 

<book>

<title>Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

4. 先辈（Ancestor）

某节点的父、父的父，等等。

在下面的例子中，title 元素的先辈是 book 元素和 bookstore 元素：

 

<?xml version="1.0" encoding="utf-8"?>

 

<bookstore>

 

<book>

<title>Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

</bookstore>

 

5. 后代（Descendant）

某个节点的子，子的子，等等。

在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

 

<?xml version="1.0" encoding="utf-8"?>

 

<bookstore>

 

<book>

<title>Harry Potter</title>

<author>J K. Rowling</author>

<year>2005</year>

<price>29.99</price>

</book>

 

</bookstore>

 

 

 

什么是XPath？

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

W3School官方文档：http://www.w3school.com.cn/xpath/index.asp

XPath 开发工具

  1. 开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)

  2. Chrome插件 XPath Helper

  3. Firefox插件 XPath Checker

 

 

 

在使用XPath的语法运用到Python抓取时要先转换为xml。

 

lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

需要安装C语言库，可使用 pip 安装：pip install lxml （或通过wheel方式安装）

初步使用

我们利用它来解析 HTML 代码，简单示例：

 

# lxml_test.py

 

# 使用 lxml 的 etree 库

from lxml import etree

 

text = '''

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html">third item</a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签

</ul>

</div>

'''

 

#利用etree.HTML，将字符串解析为HTML文档

html = etree.HTML(text)

 

# 按字符串序列化HTML文档

result = etree.tostring(html)

 

print(result)

 

输出结果：

 

<html><body>

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html">third item</a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

</body></html>

 

lxml 可以自动修正 html 代码，例子里不仅补全了 li 标签，还添加了 body，html 标签。

文件读取：

除了直接读取字符串，lxml还支持从文件里读取内容。我们新建一个hello.html文件：

 

<!-- hello.html -->

 

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

 

再利用 etree.parse() 方法来读取文件。

 

# lxml_parse.py

 

from lxml import etree

 

# 读取外部文件 hello.html

html = etree.parse('./hello.html')

result = etree.tostring(html, pretty_print=True)

 

print(result)

 

输出结果与之前相同：

 

<html><body>

<div>

<ul>

<li class="item-0"><a href="link1.html">first item</a></li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-inactive"><a href="link3.html">third item</a></li>

<li class="item-1"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

</body></html>

 

 

学习参考资料：http://www.runoob.com/xpath/xpath-tutorial.html

weixin_42152274
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
“干将莫邪” —— Xpath 与 lxml 库
极客猴的博客
08-16 880
python，beautifulsoup，python爬虫
推荐几款优秀的元素定位浏览器插件
鹅不糊涂的博客
05-02 5226
selenium元素定位优质选择，你值得拥有
Python爬虫技术系列-02HTML解析-xpath与lxml
IT从业者的成长历程
09-25 2241
本文为爬虫系列，主要讲解关于xpath和lxml的使用
python教程lxml详解
欢迎来到爱吃熊掌的鱼的博客
04-06 3085
解析XML和HTML文档：lxml提供了两种主要的解析器，分别是基于C的解析器和基于Python的解析器。基于C的解析器使用libxml2库，速度较快，而基于Python的解析器则更加容易安装和使用。使用lxml的解析器，可以将XML和HTML文档解析成一个树状结构的Element对象，从而可以通过操作Element对象来访问、修改和操作文档的内容。Element对象：Element对象是lxml中的主要对象，它代表了XML或HTML文档中的一个元素或标签。
工具-自动获取/校对XpathHelper/XpathHelperPlus/XPathHelperWizard插件轻松配置xpath规则
十一姐的博客
06-15 4353
工具-自动获取/校对XpathHelper/XpathHelperPlus/XPathHelperWizard插件轻松配置xpath规则，数据采集辅助路上的好助手
基于xpath选择器、PyQuery、正则表达式的格式清理工具详解
01-19
from lxml import etree def xpath_clean(self, text: str, xpath_dict: dict) -> str: ''' xpath 清除不必要的元素 :param text: html_content :param xpath_dict: 清除目标xpath :return: string type ...
用于 ElementTree 和 lxml 的 XPath 1.0/2.0 解析器和选择器
11-12
用于 ElementTree 和 lxml 的 XPath 1.0/2.0 解析器和选择器
parsel：Parsel使您可以使用XPath或CSS选择器从XMLHTML文档中提取数据
02-04
parsel：Parsel使您可以使用XPath或CSS选择器从XMLHTML文档中提取数据
requests和lxml实现爬虫的方法
12-24
# lxml模块的html构建selector选择器(格式化响应response) # from lxml import html # import requests # response = requests.get(url).content # selector = html.formatstring(response) # hrefs = selector....
Python-XPath+requests-html(思维导图）
最新发布
05-27
`XPath`（`XML Path Language`）是一种用于在XML文档中定位和选择节点的语言。它是`W3C`（`World Wide Web Consortium`）定义的一...它还支持基于CSS选择器和XPath表达式的元素选择，方便地定位和提取特定的网页元素。
chrome插件xpath_helper
04-21
chrome浏览器 谷歌浏览器新版本的xpath插件，解决1.xx版本动态加载页面无法弹出调试黑框的问题
XPath语法：在XML文档中定位和选择节点的利器
AAIT11的博客
05-20 1762
XPath是一个强大且灵活的语言，它在XML文档中的节点定位和选择方面提供了丰富的功能。通过熟悉XPath的语法和常用定位方法，你可以更加高效地在自动化测试、Web数据抓取等场景中应用XPath，提升开发效率。希望本篇博客能够帮助你更好地理解和应用XPath。
lxml模块详解
weixin_40013461的博客
10-13 3320
lxml是python的一个解析库，支持HTML和XML解析
scrapy和lxml版本搭配
heidyxlw的博客
08-19 330
scrapy2.6.1和lxml4.8.0不匹配，anaconda安装的scrapy和lxml，用pip卸载重新安装就可以了
lxml解析器详解
qq_53166867的博客
05-13 4637
lxml库 1.库介绍 lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。 功能： 解析HTML 文件读取 etree和XPath的配合使用 2.python库lxml的安装 windows系统下的安装： #pip安装 pip3 install lxml #wheel安装 #下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml pip3 install lxml-
Python爬虫——解析插件xpath的安装及使用
热门推荐
z1171127310的博客
08-14 1万+
Python爬虫——解析xpath
lxml选择器语法
weixin_43298886的博客
06-11 285
本周学习了爬虫两个常用库：lxml 和 BeautifulSoup lxml的使用 from lxml import etree import requests # 读取html⽹⻚信息 content = requests.get(url).text # 解析HTML⽂档，返回根节点对象 html = etree.HTML(content) # 获取⽹⻚中所有标签并遍历输出标签名 result = html.xpath("选择器") 其中xpath选择器的写法如下： BeautifulSou
xpath用法 和 lxml的使用
海边看花开的博客
11-05 2356
使用xpath helper或者是chrome中的copy xpath都是从element中提取的数据，但是爬虫获取的是url对应的响应，往往和elements不一样 1 xpath如何获取文本，如何获取任意标签下的文本 "a/text()" 获取a下的文本 "a//text()" 获取a下的所有标签的文本 "//a[text()="下一页"]" 选择文本为下一页这三个字的的a标签 2...
xpath和lxml类库
qq_36063562的博客
06-18 174
1.xpath和lxml lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息 2.Xpath XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。 W3School官方文档：http://www.w3school.com...
BeautifulSoup 与xpath
06-08
BeautifulSoup 支持多种解析器，如 lxml、html5lib 等，可以根据不同的情况选择不同的解析器。 XPath 是一种在 XML 或 HTML 文档中定位元素的语言。它使用路径表达式来选择文档中的节点或者节点集合。XPath 可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值