2024年Python最全Python：XPath提取猫眼电影

下表是XPath常用的规则：

lxml库

lxml 是一个Python第三方模块。主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则类似，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

• 安装：pip install lxml

在线安装不成功就采用离线安装。

再安装 parsel 时会自动安装 lxml，这里就不需要再次安装了。

使用lxml模块

初始化生成一个XPath解析对象，同时可以自动补全残缺的HTML标签。传入网页源码。

from lxml import etree

string = “”"

Python编程

2003

39.95

“”"

再解析之前必须先转化一下

html = etree.HTML(string)

返回结果是列表

result = html.xpath(“//book[contains(@cover，‘paper’)]/title/text()”)

result = html.xpath(“//book[4]/title/text()”)

print(result)

因为 parsel 对 lxml 进行了， 所以可以直接再 parsel 中无缝切换使用 xpath 。

使用XPath选取指定内容。括号里面书写XPath语法规则。返回列表。

-- coding: utf-8 --

import requests

import parsel

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36’

}

response = requests.get(‘https://maoyan.com/board/4?offset=0’, headers=headers)

html = response.text

%% 选择任意节点

sel = parsel.Selector(html)

提取 p 标签

ps = sel.xpath(‘//p’)

for p in ps:

print(p.get())

案例：XPath提取猫眼电影

---

‘’’

猫眼电影:

https://maoyan.com/board/4?offset=20

函数式:

1. 获取(请求)一页的函数

2. 定义解析函数(解析一页)

3. 写入文件函数

4. 循环函数

5. python学习交流群：1136201545

‘’’

import json

import requests

from lxml import etree

获取响应

def getOnePage(url):

‘’‘获取一页的响应的函数’‘’

response = requests.get(url)

return response.text

解析响应 --> 结果

def parseOnePage(text):

初始化解析

html = etree.HTML(text)

里面有所有的数据 先选择上一层 这一层里面包含所有数据 然后循环遍历

data = html.xpath(‘//dl[@class=“board-wrapper”]’)

遍历提取所有的元素

for dat in data:

print(dat)

继续选取

标题

title = dat.xpath(‘.//div//a/text()’)

主演

star = dat.xpath(‘.//p[@class=“star”]/text()’)

时间

releasetime = dat.xpath(‘//p[@class=“releasetime”]/text()’)

for tit， sta， rel in zip(title， star， releasetime):

在函数里面遇到return就终止

生成器

yield {

‘电影名字’: tit，

‘主演’: sta.strip()，

‘上映时间’: rel

}

def save2File(data):

with open(‘maoyan66.txt’， ‘a’， encoding=‘utf-8’) as fp:

fp.write(data+‘\n’)

with open(‘maoyan66.txt’， ‘a’， encoding=‘utf-8’) as fp:

fp.write(json.dumps(data， ensure_ascii=False)+‘\n’)

if name == “main”:
文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！