Python简单爬虫

Xpath和lxml技术文档

Xpath的用处

XPath是专门针对xml设计的，在复杂结构化数据中查找信息的语言。简单来说，就是利用一条路径表达式，找到我们需要的数据位置。
html可以看做不标准的xml，在html中也能使用XPath查找数据。

Xpath的介绍

xpath可以用来在XML文档中对元素和属性进行遍历。
在 xpath 中，所有事物都是节点。共有七种类型的节点：

• 元素节点 ： 元素是由从开始标签到结束标签的所有代码
• 属性节点 ： 每一个元素节点有一个相关联的属性节点集合
• 文本节点 ： 文本节点包含了一组字符数据，即cdata中包含的字符
• 命名空间节点 ： 每一个元素节点都有一个相关的命名空间节点集
• 处理指令节点 ： 处理指令节点对应于XML文档中的每一条处理指令
• 注释节点 ： 注释节点对应于文档中的注释
• 文档（根）节点 ： 根节点是节点树的最上层，根节点是唯一的
  ★ XPath可以用来选择这7种节点，但今天只涉及最常用的元素节点。因此，可以将下文中的节点和元素视为同义词。

节点关系

• 父（Parent） 每个元素以及属性都有一个父
• 子（Children） 元素节点可有零个、一个或多个子
• 兄弟（Sibling） 拥有相同的父的节点
• 先辈（Ancestor） 某节点的父、父的父，等等
• 后代（Descendant） 某个节点的子，子的子，等等

Xpath的语法介绍

1）选取节点常用的路径表达式

• / 从根节点选取
• // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
• . 选取当前节点
• @选取属性

2）谓语
为路径表达式的附加条件，对节点进行进一步的筛选，被镶嵌在[ ]中
常用的Xpath函数

• text()： 文本定位位置，精确匹配 – text()=’’
• contains()： 判断字符串的一部分，模糊匹配 – contains(text(),’’) contains(@class,’’)
• starts/ends-with： 匹配一个字符串开始/结束位置的关键字 – starts/ends-with(@class,’’)
• position()： 表示节点的序号 – position()=1 position()>2
• last() ： 最后一个节点 – last（）
• and/or ： and 与 ； or 或 – a[@class and @href] a[@class or @href]
• not() ： 表示否定 – a[not(@class)]
  3）通配符
• 匹配任何元素节点@*的任何属性
• //* 选择文档中的所有元素节点
• //ul/* 选择ul元素的所有子节点
• //a[@*] 选择所有带有属性的a节点
  4）运算符
• | 可以选取多个并列的路径
• 例如：//a[@tppabs]|//a[@class] 选择所有具有tppabs属性的a标签或具有class属性的a标签

xml文档的示例

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>
    <book>
        <title lang="en">Harry Potter</title>
        <author>J K. Rowling</author> 
        <year>2005</year>
        <price>29.99</price>
    </book>
</bookstore>


<bookstore> # 文档节点

<book>  # 元素节点，属于<bookstore>的子节点

<title>/<author>/<year>/<price>  # 元素节点，属于<book>节点的子节点


<title lang="en">Harry Potter</title>   
lang    # 属性节点，是<title>节点的属性
Harry Potter  # 文本节点，是<title>节点的文本

Xpath的书写示例

路径表达式	结果
/bookstore/book[1]	选取属于bookstore子元素的第一个book元素
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[position()<4]	选取最前面的三个属于 bookstore 元素的子元素的 book 元素
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素
//title[@lang]	选取所有拥有名为lang属性的title元素
//title[@lang=’en’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于35.00

选取若干节点

Xpath的通配符可以解决选取未知的XML元素的问题

路径表达式	结果
//book/title | //book/price	选取 book 元素的所有 title 和 price 元素
//title | // price	选取文档中的所有 title 和 price 元素
/bookstore/book/title | //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素

lxml库

lxml库的