爬虫基础（二）——lxml库和Xpath语法

Xpath简介

什么是Xpath？
Xpath是一门在XML文档中查找信息的语言，可用来在XML文档中对元素和属性进行遍历。

选取节点
Xpath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。最常用的路径表达式：


谓语（Predicates）
谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。


选取未知节点
Xpath通配符可用来选取未知的XML元素


Xpath的运算符

lxml库

什么是lxml库？
lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据。lxml和正则一样，也是用C实现的，是一款高性能的Python HTML/XML解析器，可以利用之前学习的Xpath语法，快速定位特定元素以及节点信息。

解析HTML代码
lxml可以自动修正html代码，不仅补全了li还添加了body，html标签

from lxml import etree	# 使用 lxml 的 etree 库
text = '''<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a> # 注意,此处缺少一个 </li> 闭合标签
</ul>
</div>'''
html = etree.HTML(text) 		#利用etree.HTML,将字符串解析为HTML文档
result = etree.tostring(html)	# 按字符串序列化HTML文档

利用etree.parse()方法来读取文件

from lxml import etree
# 读取外部文件 hello.html
html = etree.parse('./hello.html')
result = etree.tostring(html, pretty_print=True)
print(result)

实例测试：
html.xpath(’//li’) # 获取所有的li标签
html.xpath(’//li/@class’) # 获取;li标签的所有 class 属性
html.xpath(’//li/a[@href=“link1.html”]’) # 获取;li标签的href 为 link1.html的标签
html.xpath(’//li//span’) # 获取li标签下的所有span标签, / 是用来获取子元素的
html.xpath(’//li/a//@class’) # 获取li标签下的所有a标签的class属性
html.xpath(’//li[last()]/a/@href’) # 获取最后一个li的a标签的href属性;
html.xpath(’//li[last()-1]/a’) # 获取倒数第二个元素的内容
html.xpath(’//*[@class=“bold”]’) # 获取 class 值为 bold 的标签名