Xpath库

Xpath演示

在使用 Xpath 之前，需要先确保安装好 lxml 库。

from lxml import etree
import requests

response = requests.get('https://www.geekdigging.com/')#获取源代码byte数据流
html_str = response.content.decode('UTF-8')#使用decode进行解码
html = etree.HTML(html_str)#构建一个lxml.etree_Element对象
result = etree.tostring(html,encoding='UTF-8').decode('UTF-8')#转化为字符串
print(result)


result_1 = html.xpath('//*')
print(result_1)
#*匹配所有节点，如html，head，meta等类型
result_2 = html.xpath('//meta')
print(result_2)
#指定类型

常用路径表达式

表达式	作用
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点
…	选取当前节点的父节点。
@	选取属性。

在使用 Xpath 之前，需要先确保安装好 lxml 库，如果没有安装，可以参考前面的前置准备进行安装。

向下爬取子节点

#获取<main>下的<article>节点
result_3 = html.xpath('//main/article')
print(result_3)
#/获取子节点 //获取孙子节点
result_4 = html.xpath('//main//div')
print(result_4)

向上爬取父节点

result_5 = html.xpath('//@子节点/../@父节点')
print(result_5)
#或者使用parent::
result_6 = html.xpath('//@子节点/parent::/@父节点')

属性过滤

选取属性时可使用@进行属性过滤，如选取< div >时，选取< section >的子结点中class为container的< div >

result_7 = html.xpath('//section/div[@class="container"]')
print(result_7)

文本获取

使用text()来获取文本信息

from lxml import etree
import requests

response = requests.get('https://www.geekdigging.com/')
html_str = response.content.decode('UTF-8')
html = etree.HTML(html_str)

result_1 = html.xpath('/html/body/section/div/div/main/article[1]/div[2]/div/h3/a/text()')
print(result_1)