爬虫基础 解析库的使用

目录

前言

XPath

属性多值匹配、多属性匹配

属性多值匹配

多属性匹配

按序选择

---

        特此说明：本系列爬虫博客皆为本人在学习崔庆才老师的书《python3 网络爬虫开发实战》时所归纳总结的学习笔记，用于本人以后复习查找的资料，也分享给更多想学习爬虫的人。

前言

        网页是由一个一个节点组成的，我们除了可以用正则表达式爬取想要的内容，还可以通过解析页面来提取某个节点，从而获得节点的内容。Python有很多解析库，我们这里介绍两种，lxml和Beautiful Soup。

XPath

首先我们来介绍一下xpath，全称XML Path Language，即XML路径语言。它是一门再XML文档中查找信息的语言，也可以用来进行HTML文档的查找。

XPath的常用规则

表格如下：

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

//title[@class=”item-0”]

此表达式代表选择所有名称为title，且属性calss值为item-0的节点。

下面我们用实例说明：

text="
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-2"><a href="link3.html">third item</a></li>
<li class="item-3"><a href="link4.html">fourth item</a></li>
</ul>
</div>
"

from lxml import etree
html=etree.HTML(text)
result=html.xpath("//*")

首先从lxml库中导入etree模块，再用HTML方法进行解析得到对象，然后即可用xpath对HTML代码进行查找，*代表匹配所有节点，所以“//*”可以匹配到所有的节点。

注意：这样返还的形式是一个列表，且每个元素是Element类型。如果要输出节点内容的话只需在后面加上text（），如下图：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("//*/text()")

我们可以直接指定节点名称

from lxml import etree
html=etree.HTML(text)
result=html.xpath("//li")

这样可以得到所有li节点。

我们还可以得到特定的节点，比如我们要得到第二个<li>节点，我们可以这样：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("/li[2]")

注意这里代表第一个<li>节点的是/li[1]而不是/li[0]。

我们可以继续得到<li>节点的子节点：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("/li[2]/a")

那么如何通过子节点获取父节点呢，只需要用..即可。

例如我们要获得text中的第二个li节点的class属性：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("/a[2]/../@class")

---

接下来我们介绍更复杂的情况：

属性多值匹配、多属性匹配

属性多值匹配

如果我们要提取的节点的属性有多个值怎么办？

text="
<div>
<ul>
<li class="item-0 item-4"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-2"><a href="link3.html">third item</a></li>
<li class="item-3"><a href="link4.html">fourth item</a></li>
</ul>
</div>
"

如果我们继续用前面的方法匹配，我们将不能得到想要的结果。

但我们可以用contains（）函数，如下：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("/li[contains(@class,"item-4")]")

多属性匹配

我们还可以根据多个属性来匹配节点，只需要加上运算符and即可。

text="
<div>
<ul>
<li class="item-0 item-4" name="item-5"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-2"><a href="link3.html">third item</a></li>
<li class="item-3"><a href="link4.html">fourth item</a></li>
</ul>
</div>
"

from lxml import etree
html=etree.HTML(text)
result=html.xpath("/li[contains(@class,"item-4") and @name="item-5"]")

此外我们还有很多运算符，例如or，+，- 等等。

---

按序选择

我们还可以通过以下方法更加方便的获取节点：

from lxml import etree
html=etree.HTML(text)
result=html.xpath("//li[last()]/a")
result=html.xpath("//li[last()-2]/a")
result=html.xpath("//li[position()<3]/a")

last（）即查找最后一个节点，last（）-2就是倒数第3个，position（）< 3便是位置小于3的节点。