Python爬虫之Xpath

xpath解析是最常用且最便捷高效的一种解析方式，通用性强。

1 xpath解析原理

1. 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
2. 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位内容的捕获。

2 安装

pip install lxml

3 实例化etree对象

from lxml import etree
1. 将本地html文档中的源码数据加载到etree对象中
etree.parse(filePath)
2. 从互联网上获去源码加载到etree对象中
etree.HTML(page_text)

4 xpath表达式

/ ：表示的是从根节点开始定位，表示的是一个层级

//：表示的是多个层级，可以表示从任意位置开始定位

属性定位：tag[tagName=‘attrValue’]，如//div[@class=‘song’]

索引定位：tag[index]，索引是从1开始的，如//div[@class=‘song’]/p[3]

文本获取：
- /text()：获取标签的直系文本
- //text()：获取标签的下的所有文本

属性值获取：/@attrName，如//a/@href

xpath方法使用简单，可自行练习使用