爬虫数据解析：通过Xpath和lxml模块

什么是XPath？

xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

XPath开发工具

Chrome插件XPath Helper
链接: https://pan.baidu.com/s/1EJTyNdQHSn9l4Yc-IkY4_A 提取码: ynvu
安装方法：

1. 从上述链接下载文件并解压缩。
2. 打开chrome浏览器–更多工具–扩展程序–加载已解压的扩展程序（选择开发者模式）–选择刚才解压出来的文件夹。

Firefox插件Try XPath。

XPath节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

XPath语法

选取节点

常用的路径表达式：

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

需要注意的知识点：

1. /和//的区别：/代表只获取子节点，//获取子孙节点，一般//用的比较多，当然也要视情况而定
2. contains：有时候某个属性中包含了多个值，那么可以使用contains函数，示例如下：

   //title[contains(@lang,'en')]
   

3. 谓词中下标是从1开始的，不是从0开始的

lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

基本使用：

from lxml import etree

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
# 将字符