xpath操作表达式及在scrapy中的应用

XPath 是一门在 XML 文档中查找信息的语言。
XPath 用于在 XML 文档中通过元素和属性进行导航。
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

最常用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点
/	从根节点选取
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.	选取当前节点
…	选取当前节点的父结点
@	选取属性

• 实例

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
bookstore/ book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore// book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。

• 实例

路径表达式	结果
bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
bookstore/ book[last()]	选取属于 bookstore 的子元素的最后一个 book 元素。
bookstore/ book[last()-1]	选取属于 bookstore 的子元素的倒数第2个 book 元素。
bookstore/ book[position() < 3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00] /title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

• 实例

路径表达式	结果
bookstore/*	选取属于 bookstore的所有子元素
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

XPath 轴

轴可定义相对于当前节点的节点集。

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
escendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

语法：轴名称::节点测试[谓语]

• 实例

例子	结果
child::book	选取所有属于当前节点的子元素的 book 节点。
attribute::lang	选取当前节点的 lang 属性。
child:: *	选取当前节点的所有子元素。
attribute:: *	选取当前节点的所有属性。
child :: text()	选取当前节点的所有文本子节点。
child::node()	选取当前节点的所有子节点。
descendant::book	选取当前节点的所有 book 后代
ancestor::book	选择当前节点的所有 book 先辈。
ancestor-or-self::book	选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）
child:: * /child::price	选取当前节点的所有 price 孙节点。

功能函数

函数	用法	解释
starts-with	//div[starts-with(@id,”ma”)]	选取id值以ma开头的div节点
contains	//div[contains(@id,”ma”)]	选取所有id值包含ma的div节点
and	//div[contains(@id,”ma”) and contains(@id,”in”)]	选取id值包含ma和in的div节点
text()	//div[contains(text(),”ma”)]	选取节点文本包含ma的div节点

xpath在scrapy，spider提取元素及属性定位的应用

最基本的extract()函数，extract_first()

movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']//li")
for i_item in movie_list:
   douban_item = DoubanItem()
   # 进行数据解析
   douban_item['serial_number'] = i_item.xpath(".//div[@class='item']//em/text()").extract_first()
   douban_item['movie_name'] = i_item.xpath(".//div[@class='info']/div[@class='hd']/a/span[1]/text()").extract_first()

   content = i_item.xpath(".//div[@class='info']/div[@class='bd']/p[1]/text()").extract()

xpath在python中的应用

from lxml import html

etree = html.etree
html = etree.HTML(text, etree.HTMLParser())
result = html.xpath("//li/a/text()")

参考来源：
XPath教程
Scrapy元素选择器Xpath用法汇总
python爬虫：scrapy框架xpath和css选择器语法