Python xpath 详解一（非网络文章复制粘贴）

之前有看到好多关于xpath用法的文章，大多都是复制粘贴，一些生硬的表格，生硬的例句，对初学者非常不友好。整理这篇文章，旨在帮助更多的初学者能快速上手。

---

示例链接：http://auto.sohu.com/

一、xpath 路径

下面以获取主菜单的按钮文本，那么路径关系如图：

---

那么要提取按钮文本，最完整的路径，也叫绝对路径，也就是图中蓝色路径：

response.xpath('/html/body/div[@class="header"]/div[@class="area"]/div[@class="head-nav left"]/ul/li/a/text()')

这里的[@class=“header”] 可以理解为，对支点的一个标识，更加准确的定位。
如果我们只是写

response.xpath('/html/body/div/div/div/ul/li/a/text()')

提取结果就多了很多。

二、实际爬虫很少使用这种绝对路径的书写，而是使用 “//” 进行路径匹配，它主要依靠元素ID、class的等属性值来定位路径，

response.xpath('//div[@class="head-nav left"]/ul/li/a/text()')

这里就通过div的class属性值及相对的路径关系，就可以提取到菜单文本了。

该方式通常通过，父支点的特征、父支点的父支点的特征…,来防止提取到非目标数据。

三、“[]”的模糊匹配,比如图中这样的几个类似支点，当然可以写5个xpath路径。

更好的方法是使用 contanins 模糊匹配：

response.xpath('//div[contains(@id,"tms_t_")]')