爬虫：Xpath定位

Amae

于 2021-12-25 14:16:02 发布

阅读量2.5k

点赞数

分类专栏：爬虫【python】文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/Smart_look/article/details/121757654

版权

对于网页的节点来说，定义id，class或其他属性。而且节点之间还有层级关系，在网页中通过XPath或CSS选择器来定位一个或多个节点，对于这种解析库非常多，其中比较强大的库有lmxl，Beautiful Soup、pyquery等，

XPath概览

XPath，全程XML Path Language ，即XML语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简介明了的路径选择表达式，另外，他还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎所有我们想要定位的节点，都可以用XPath来选择。

XPath与1999年11月16日成为W3C标准，他被设计为供XSTL、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/

XPath常用规则

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

这里列出了XPath的常用匹配规则，示例：//title[@lang='eng']
选择所有名称为title，同时属性的值为eng的节点

from lxml import etree

text = """
<div>
<ul>
<li class="item-O"><a href="linkl. html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class ＝"item-0"><a hrer＝"link5.html">fifth item</a>
</ul>
</div>

"""

htlm = etree.HTML(text)
result = etree.tostring(htlm)
print(result.decode("utf-8"))


结果：
<html><body><div>
<ul>
<li class="item-O"><a href="linkl. html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class=""><a hrer="">fifth item</a>
</li></ul>
</div>

</body></html>

首先导入lxml库的etree模块，然后声明一段HTML文本，调用HTML类进行初始化，这杨就构成了一共XPath解析对象，这里需要主义的是，HTML文本中的最后一共li节点是没有闭合的，但是etree模块可以自动修正HTML文本。我们调用totstring() 方法输出即可修正后的HTML代码，但是结果是bytes类型。利用decode()方法将其转成str类型

也可以使用文本解析

from lxml import etree

html = etree.parse('./test.html',etree.HTMLParser())
resutl = etree.tostring(html)
print(resutl.decode("utf-8"))


结果：
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>&#13;
<ul>&#13;
<li class="item-O"><a href="linkl. html">first item</a></li>&#13;
<li class="item-1&

最低0.47元/天解锁文章

Amae

关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
爬虫：Xpath定位

对于网页的节点来说，定义id，class或其他属性。而且节点之间还有层级关系，在网页中通过XPath或CSS选择器来定位一个或多个节点，对于这种解析库非常多，其中比较强大的库有lmxl，Beautiful Soup、pyquery等，XPath概览...
复制链接

扫一扫

专栏目录