XPath语法和lxml模块
什么是XPath?
xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历。
XPath开发工具
Chrome插件XPath Helper。
安装方法:
- 打开插件伴侣,选择插件
- 选择提取插件内容到桌面,桌面上会多一个文件夹
- 把文件夹放入想要放的路径下
- 打开谷歌浏览器,选择扩展程序,开发者模式打开,选择加载已解压的扩展程序,选择路径打开即可
Firefox插件Try XPath。
XPath节点
在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。
XPath语法
使用方式:
使用//获取整个页面当中的元素,然后写标签名,然后在写谓语进行提取,比如:
//title[@lang='en']
需要注意的知识点:
-
/和//的区别:/代表只获取子节点,//获取子孙节点,一般//用的比较多,当然也要视情况而定
-
contains:有时候某个属性中包含了多个值,那么可以使用contains函数,示例如下:
//title[contains(@lang,'en')]
-
谓词中下标是从1开始的,不是从0开始的
lxml库
lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。
基本使用:
from lxml import etree
text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>