05-xpath爬虫数据解析

Xpaht数据解析
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
因此，对 XPath 的理解是很多高级 XML 应用的基础。
xpath学习网址：https://www.w3school.com.cn/xpath/index.asp
XPath 开发工具
Chrome插件 XPath Helper

• 环境安装
  • pip install lxml
• 解析原理：html标签是以树状的形式进行展示
  • 1.实例化一个etree对象，且将待解析的页面源码数据加载到该对象中。
  • 2.调用etree对象的xpath方法结合着不同的xpath表达式实现标签的定位和数据提取
• 实例化etree对象
  • etree.parse(‘filename’):将本地html文档加载到该对象中
  • etree.HTML（‘page_text’）：网站获取的页面数据加载到该对象中
• 标签定位：
  • xpath 语法中，整个HTML文档根节点用’/‘表示，如果我们想选择的是根节点下面的html节点，则可以在搜索框输入

/html

如果输入下面的表达式

/html/body/div

这个表达式表示选择html下面的body下面的div元素。

注意/有点像 CSS中的>, 表示直接子节点关系。

绝对路径选择
从根节点开始的，到某个节点，每层都依次写下来，每层之间用 / 分隔的表达式，就是某元素的 绝对路径

上面的xpath表达式/html/body/div，就是一个绝对路径的xpath表达式， 等价于 css表达式 html>body>div

相对路径选择
有的时候，我们需要选择网页中某个元素， 不管它在什么位置 。

比如，选择示例页面的所有标签名为 div的元素，如果使用css表达式，直接写一个 div就行了。

那xpath怎么实现同样的功能呢？ xpath需要前面加// , 表示从当前节点往下寻找所有的后代元素,不管它在什么位置。

所以xpath表达式，应该这样写：//div