Python爬虫 Xpath解析数据

XPath，XML Path Language。是一种小型的查询语言，是一门在XML文档中查找的语言。
优点：可以在XML中查找信息；支持HTML的查找；可通过元素和属性进行导航。
XPath的树形结构：

使用Xpath选取节点

表达式	描述
nodename	选取此节点的所有子节点
/	从根节点选择
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.	选取当前节点
…	选取当前节点的父节点
/text()	获取当前路径下的文本内容
/@xxx	获取当前路径下标签的属性值

|可选符：可选取若干个路径//p|//div，在当前路径下选取所有符合条件的p标签和div标签

表达式	描述
xpath(’/body/div[1]’)	选取body下第一个div节点
xpath(’/body/div[last()]’)	选取body下最后一个div节点
xpath(’/body/div[last(-1)]’)	选取body下倒数第二个div节点
xpath(’/body/div[position()<4]’)	选取body下前三个div节点
xpath(’/body/div[@class]’)	选取body下带有class属性的div节点
xpath(’/body/div[@class=“main”]’)	选取body下class属性为main的div节点
xpath(’/body/div[price>35.00]’)	选取body下price元素大于35的div节点

案例：爬取小说楼首页小说和作者

import requests
from lxml import etree

url = "https://www.xslou.com"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.81"}
resp = requests.get(url, headers=headers)
resp.encoding = 'GBK'
e = etree.HTML(resp.text)  # 类型转换 将str型转换成<class 'lxml.etree._Element'>
# print(type(e))
names = e.xpath('//div[@class="wl"]/ul[@class="sortimg"]/li/p/a/text()')
authors = e.xpath('//div[@class="wl"]/ul[@class="sortimg"]/li/a/b/text()')
for name, author in zip(names,authors):
    print(name+"："+author)

XPath解析出现乱码 解决方法