python爬虫学习笔记：XPath语法和使用示例

python爬虫：XPath语法和使用示例

XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。

选取节点

XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

常用路径表达式：

实例

在下面的表格中，列出一些路径表达式以及表达式的结果：

查找特定的节点

注意点：在xpath中，第一个元素的位置是1，最后一个元素的位置是last()，倒数第二个是last()-1。

选取未知节点

XPath通配符可用来选取未知的XML元素。

实例

在下面的表格中，列出一些路径表达式以及表达式的结果：

选取若干路径

通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

实例

在下面的表格中，列出一些路径表达式以及表达式的结果：

使用技巧

在一般的爬虫实战中，XPath路径可以通过谷歌浏览器或火狐浏览器中复制得到，如下图：

但是对于新手可以多多尝试自己写XPath路径，因为有时候复制获取的XPath路径过长，而自己写的更简洁些。

例子：

import requests
from lxml import etree

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
url = 'http://www.qiushibaike.com/text/'
res = requests.get(url, headers=headers