Python写爬虫常用网页解析工具

参考资料：
W3C关于Xpah的教程
阮一峰关于Xpath的文章
崔庆才关于lxml的博客
lxml python 官方文档
Beautiful Soup官方文档
崔庆才关于bs的博客
pyquery

---

  网页解析可以用正则表达式解析，也可以用解析库解析，利用其强大的方法可以完成各种解析，比如XPath解析以及CSS选择器解析。

1 Xpath及lxml

1.1 什么是Xpath

  XPath全称为XML Path Language，即XML路径语言。是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。他是一个标准的函数库，也是W3C的一个标准。
　　它最初是用在搜寻XML文档的，但是它同样适用于HTML文档的检索。

1.2 节点

   简单说，xpath就是选择XML文件中节点的方法。 所谓节点（node），就是XML文件的最小构成单位，一共分成7种。

• element（元素节点）
• attribute（属性节点）
• text （文本节点）
• namespace （名称空间节点）
• processing-instruction （处理命令节点）
• comment （注释节点）
• root （根节点）

1.3 路径表达式

   Xpath通过"路径表达式"（Path Expression）来选择节点。在形式上，"路径表达式"与传统的文件系统非常类似。其基本格式如下：

• 斜杠（/）：作为路径内部的分割符,每一步都被斜杠分割。
• 同一个节点有绝对路径和相对路径两种写法（路径的表示方法写在表达式的最开头）。
• 绝对路径（ / ）：从根节点选取
• 相对路径（//）：从任意位置选择节点，也可以不写//也不写也表示相对路径。

其中用/分割的成为步（step），步的语法如下：

轴名称::节点测试[谓语]

• 轴（axis）：定义所选节点与当前节点之间的树关系
• 节点测试（node-test）：识别某个轴内部的节点零个或者更多
• 谓语（predicate）：更深入地提炼所选的节点集

/html/body/form/input      选取所有input节点
 //input                            选取所有的input节点

1.4 选择节点的基本规则

规则	描述
nodename	选取此节点的所有子节点
@	选取属性
.	选取当前节点。
…	选取当前节点的父节点。

1.5 谓语条件

   所谓"谓语条件"，就是对路径表达式的附加条件。所有的条件，都写在方括号"[]" 中，表示对节点进行进一步的筛选。

示例如下：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()❤️]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

1.6 通配符

• " * "：表示匹配任何元素节点。
• " @* "：表示匹配任何属性值。
• node()：表示匹配任何类型的节点。

1.7 节点轴选择器

   通过Xpath提供的轴选择器方法，可以获取子元素、兄弟元素、父元素、祖先元素等。
　　其中，轴可定义相对于当前节点的节点集。可用轴如下：

轴名称	结果
ancestor	选取当前节点的所有祖先节点。
ancestor-or-self	选取当前节点的所有祖先节点以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素 。
descendant	选取当前节点的所有后代元素。
descendant-or-self	选取当前节点的所有后代元素以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。self选取当前节点。

示例如下：

例子	结果
child::book	选取所有属于当前节点的子元素的 book 节点。
attribute::lang	选取当前节点的 lang 属性。
child::*	选取当前节点的所有子元素

1.8 lxml插件的使用

(1) 安装lxml

pip install lxml

(2) 读取和初始化

   首先我们使用 lxml 的 etree 库，然后利用etree.HTML 初始化，然后我们将其打印出来。在这里初始化库可以帮我们自动修正代码。

from lxml import etree
text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html