在用 Python 实现爬虫时,可以使用 requests 库访问资源,然后用正则表达式提取信息。
但是,这里会有一些繁琐,因为正则表达式的书写是比较严格的,万一有一个地方写错了,可能会导致匹配失败无法提取需要的信息。
对于网页的节点来说,可以定义 id、class 或其他属性。节点之间有层次关系,在网页中,其实可以通过 Xpath 定位一个或多个节点。
那么相应的,在页面解析的时候,利用 Xpath 定位节点,调用相应的方法获取正文或者属性,那么完全可以获取需要的信息。
在 Python 中,这个解析库叫 lxml,下面来介绍这个解析库的用法。
![e8a74f0cf6dae15b387980e1b2627422.png](https://i-blog.csdnimg.cn/blog_migrate/62c9026dee6de688139a78608e40aa12.jpeg)
lxml 库
lxml 是 Python 的一个解析库,支持 HTML 和 XML 的解析,支持 XPath 解析方式,效率非常高。
使用 lxml 之前,需要先安装,可以使用如下命令:
$ pip install lxml
Xpath 简介
Xpath,全称 XML Path Language,即是 XML 路径语言。Xpath 是一门在 XML 文档中查找信息的语言,用于在 XML 文档中通过元素和属性进行导航,但同样适用于 HTML 文档的搜索。
在实现爬虫时,完全可以通过 Xpath 进行信息提取。
Xpath 的功能强大,使用路径表达式来选取 XML 或 HTML 文档中的节点或者节点集。Xpath 有超过 100 个内建的函数。这些函数可用于字符串、数值、日期和时间比较、节点、序列处理和逻辑值等等。
Xpath 于 1999 年 11 月 16 日成为 W3C 标准,被设计为供 XSLT、XPointer 以及其他 XML 解析软件使用。
Xpath 语法
前面提及了,Xpath 使用路径表达式选取文档中的节点或节点集。
下面罗列常用的路径表达式:
表达式描述说明nodename选取此节点的所有子节点/从根节点选取//从当前节点选择子孙节点(不考虑它们的位置).选取当前节点..选取当前节点的父节点@选取属性
上面罗列的内容属于常用部分,用示例来说明下具体的用法:
//div[@class="document"]
这就是一个 Xpath 路径表达式,代表的是选择名称为 div,属性 class 的值为 document 的节点。
在 Python 中,会通过 lxml 库,利用 Xpath 进行解析。
实例应用
通过实例了解使用 Xpath 对网页进行解析的过程,代码如下(下面 HTML 内容节选自豆瓣,稍作更改):
# 先导入 lxml 库from lxml import etreetext = """
红楼梦 活着 百年孤独 1984
"""html = etree.HTML(text)result = etree.tost