爬虫-Xpath解析

我是张晨，一转眼，我在新课已经学习了很长一段时间。回顾这几个月的时间，我收获了很多知识。这里是我的一点学习笔记。
一、Xpath解析

数据解析 作用是从html文本中提取需要的数据
xpath 解析速度快，容易上手，使用方便 只能够解析树形结构文档

二、节点选择

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取（取子节点）。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。
.	选取当前节点。
…	选取当前节点的父节点。
@	选取属性。

三、路径表达式

bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

四、谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()❤️]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

五、选取未知节点

*	匹配任何元素节点。
@*	匹配任何属性节点。
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

豆果实战示例：

import requests
from lxml import etree
url = 'https://www.douguo.com/jingxuan/0'
cookies = {
    'https_waf_cookie': 'b8d34e65-19d4-43c9cf22f7323710ddc150dadffd417228da',
    'Hm_lvt_f4fa5d56f272ae0a0777feec2184a97f': '1679401504',
    'Hm_lpvt_f4fa5d56f272ae0a0777feec2184a97f': '1679401504',
    'XSRF-TOKEN': 'eyJpdiI6IlU1NVhleWRrelwvMkxTdURySUNwaHZBPT0iLCJ2YWx1ZSI6ImxQN2U0K1pub2JMK284aWlVZGhyd3A2Q29nWG5JaFRnWHdqRWVqSVdmckZBYXJcL3pIbldEd2JSN1NFcld3ZW1ZIiwibWFjIjoiZGRlZmYxOTVlMGE0OWQyN2U3NTZmOWVmMDQ3OWU3YzU1NDQzYjk1ZmJjNjQyZjYxMWJhNTMxODk5YzkyNGUzOCJ9',
    'laravel_session': 'Mh5KTgGPCVYgV95ET5WizdA5tfw7XPThjxXg8ARa',
    '__gads': 'ID=4ad63e996f9fd1ec-220feee98cdc003a:T=1679401504:RT=1679401504:S=ALNI_MZa1i0ojQSU1uP2tlU3sWvsxJ0dTw',
    '__gpi': 'UID=00000bdcad3fc8f4:T=1679401504:RT=1679401504:S=ALNI_MYak7XIe7yPiBPdcFK5KXtQ4l_QZw',
}

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cache-Control': 'no-cache',
    'Connection': 'keep-alive',
    'Pragma': 'no-cache',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
    'sec-ch-ua': '\\',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '\\',
}
params = {
}
response = requests.get(url, headers=headers, params=params, cookies=cookies)
html = etree.HTML(response.text)
# 使用元素里面的内容作为参考，会出现误差（获取不到数据） 最好通过打印的源代码写表达式
title = html.xpath('//a[@class="cookname text-lips"]/text()')
author = html.xpath('//a[@class="author text-lips"]/img/@alt')
view = html.xpath('//span[@ class="view"]/text()')
for title, author, view in zip(title, author, view):
    print(title, author, view)

运行结果：

暂时先分享这么多吧，希望大家在学习过程当中都能有所收获，感谢新课，如果想获取更多资料或者联系加群，可以关注我们新课的微信公众号，后台自动回复获取代码笔记资料。