xpath中两个冒号_爬虫学习(5)—XPath

之前我们写了一个简单的爬虫，在提取页面信息时我们使用正则表达式来匹配内容，但是正则表达式的书写比较繁琐，而且一旦错误就可能导致匹配失败。对于网页的节点来说，它可以定义id，class或其他的属性，而且节点之间还有层次关系，在网页中可以通过xpath后css选择器来定位一个或多个节点。那么，我们在解析页面时，利用CSS和XPath选择器来定位节点，再调用相关方法来获取其正文内容或属性。本文介绍XPath。

1.XPath概述

XPath的选择功能十分强大，提供了100多个内建函数，用于字符串、数值、时间的匹配和节点、序列的处理。

2.XPath常用规则

nodename          选取此节点的所有子节点
/                 从当前节点选取直接子节点
//                从当前节点选取子孙节点
.                 选取当前节点
..                选取当前节点的父节点
@                 选取属性

这里就是XPath的常用匹配规则，示例如下：

//title[@lang='eng']

这个就表示选择所有名称为title，同时属性lang的值为eng的节点。

3.准备工作

安装好lxml库。

4.实例引入

我们来通过实例来感受一下使用XPath来对网页进行解析的过程。

from lxml import etree

text = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

这里我们先导入lxml库的etree模块，然后声明一段HTML文本，在调用HTML类进行初始化，这样就成功构造了一个XPath解析对象。我们可以注意到HTML文本中最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML 文本。

我们调用tostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。这里利用decode()方法将其转换为str类型。

我们也可以通过直接读取文件来进行解析。

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.dec