我是张晨,一转眼,我在新课已经学习了很长一段时间。回顾这几个月的时间,我收获了很多知识。这里是我的一点学习笔记。
一、Xpath解析
数据解析 作用是从html文本中提取需要的数据
xpath 解析速度快,容易上手,使用方便 只能够解析树形结构文档
二、节点选择
表达式 | 描述 |
---|---|
nodename | 选取此节点的所有子节点。 |
/ | 从根节点选取(取子节点)。 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置(取子孙节点)。 |
. | 选取当前节点。 |
… | 选取当前节点的父节点。 |
@ | 选取属性。 |
三、路径表达式
bookstore | 选取 bookstore 元素的所有子节点。 |
---|---|
/bookstore | 选取根元素 bookstore。 |
bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 |
bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang | 选取名为 lang 的所有属性。 |
四、谓语
谓语用来查找某个特定的节点或者包含某个指定的值的节点。
路径表达式 | 结果 |
---|---|
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
/bookstore/book[position()❤️] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
//title[@lang=‘eng’] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。 |
/bookstore/book[price>35.00]//title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。 |
五、选取未知节点
* | 匹配任何元素节点。 |
---|---|
@* | 匹配任何属性节点。 |
/bookstore/* | 选取 bookstore 元素的所有子元素。 |
//* | 选取文档中的所有元素。 |
//title[@*] | 选取所有带有属性的 title 元素。 |
豆果实战示例:
import requests
from lxml import etree
url = 'https://www.douguo.com/jingxuan/0'
cookies = {
'https_waf_cookie': 'b8d34e65-19d4-43c9cf22f7323710ddc150dadffd417228da',
'Hm_lvt_f4fa5d56f272ae0a0777feec2184a97f': '1679401504',
'Hm_lpvt_f4fa5d56f272ae0a0777feec2184a97f': '1679401504',
'XSRF-TOKEN': 'eyJpdiI6IlU1NVhleWRrelwvMkxTdURySUNwaHZBPT0iLCJ2YWx1ZSI6ImxQN2U0K1pub2JMK284aWlVZGhyd3A2Q29nWG5JaFRnWHdqRWVqSVdmckZBYXJcL3pIbldEd2JSN1NFcld3ZW1ZIiwibWFjIjoiZGRlZmYxOTVlMGE0OWQyN2U3NTZmOWVmMDQ3OWU3YzU1NDQzYjk1ZmJjNjQyZjYxMWJhNTMxODk5YzkyNGUzOCJ9',
'laravel_session': 'Mh5KTgGPCVYgV95ET5WizdA5tfw7XPThjxXg8ARa',
'__gads': 'ID=4ad63e996f9fd1ec-220feee98cdc003a:T=1679401504:RT=1679401504:S=ALNI_MZa1i0ojQSU1uP2tlU3sWvsxJ0dTw',
'__gpi': 'UID=00000bdcad3fc8f4:T=1679401504:RT=1679401504:S=ALNI_MYak7XIe7yPiBPdcFK5KXtQ4l_QZw',
}
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Sec-Fetch-Dest': 'document',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-Site': 'none',
'Sec-Fetch-User': '?1',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
'sec-ch-ua': '\\',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '\\',
}
params = {
}
response = requests.get(url, headers=headers, params=params, cookies=cookies)
html = etree.HTML(response.text)
# 使用元素里面的内容作为参考,会出现误差(获取不到数据) 最好通过打印的源代码写表达式
title = html.xpath('//a[@class="cookname text-lips"]/text()')
author = html.xpath('//a[@class="author text-lips"]/img/@alt')
view = html.xpath('//span[@ class="view"]/text()')
for title, author, view in zip(title, author, view):
print(title, author, view)
运行结果:
暂时先分享这么多吧,希望大家在学习过程当中都能有所收获,感谢新课,如果想获取更多资料或者联系加群,可以关注我们新课的微信公众号,后台自动回复获取代码笔记资料。