XPath语法与lxml模块

XPath概述

xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历

xpath语法

使用方式

使用//获取整个页面当中的元素，然后写标签名，然后在写谓词进行提取

//div[@class='abc']

需要注意的知识点

1./和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用的比较多，当然也要视情况而定。

2.contains:有时候某个属性中包含了多个值，那么可以用contaions函数

//div[contains(@class,'job_detail')]

3.谓词中的下标是从1开始的，不是从0开始的

使用lxml解析html代码

1.解析html字符串L使用lxml.etree.HTML进行解析

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

2.解析html文件，使用lxml.etree.parse进行解析。

htmlElement = etree.parse("tencent.html")
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

这个函数默认使用的是XML解析器，所以如果碰到一些不规范的HTML代码时就会解析错误，这时就要自己创建HTML解析器

parser = etree.HTMLParser(encodeing='utf-8')
htmlElement = etree.parse("tencent.html",parser=parser)
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

lxml结合xpath注意事项

1.实用xpath语法。应该使用Element.xpath方法来执行xpath。

trs = html.xpath("//tr[position()>1]")

xpath函数返回来的永远是一个列表
2.获取某个标签的属性

href = html.xpath("//a/@href")
#获取a标签的href属性对应的值

3.获取文本，是通过xpath中的text()函数。

address = tr.xpath("./td[4]/text()")[0]

4.在某个标签下，在执行xpath函数，获取这个标签下的子孙元素，那么应该在//之前加一个点，代码是在当前元素下获取

address = tr.xpath("./td[4]/text()")[0]