2024最新某程酒店信息爬取，无需JS解密逆向实现

目录

前言

一、DrissionPage简介

二、特性以及亮点功能

🎇 强大的自研内核​

🎇 亮点功能​

三、安装导入

模块安装

模块导入 

📌 ChromiumPage​

📌 SessionPage​

📌 WebPage​

 爬虫实现

一、明确受害者

二、明确所需数据并分析来源

三、爬虫代码实现

1、导入所需模块

2、打开浏览器并监听数据包

3、解析所需数据信息

4、数据保存

导入模块

 创建记录器对象

 设置表头

保存数据 

5、多页爬取 

---

前言

在我们在学习爬虫的途中，常常会遇到一些网站存在反爬的情况，往往需要进行js解密。这对于一些新手小伙伴们来说是十分不友好的，许多人也可能会使用selenium但仍不能解决，这时候该怎么办呢？DrissionPage可以解决我们的燃眉之急！！！

一、DrissionPage简介（引自官网）

DrissionPage 是一个基于 python 的网页自动化工具。

它既能控制浏览器，也能收发数据包，还能把两者合而为一。

可兼顾浏览器自动化的便利性和 requests 的高效率。

它功能强大，内置无数人性化设计和便捷功能。

它的语法简洁而优雅，代码量少，对新手友好。

二、特性以及亮点功能

🎇 强大的自研内核​

采用全自研的内核，内置了无数实用功能，对常用功能作了整合和优化，对比 selenium，有以下优点：

• 无 webdriver 特征
• 无需为不同版本的浏览器下载不同的驱动
• 运行速度更快
• 可以跨 iframe 查找元素，无需切入切出
• 把 iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰
• 可以同时操作浏览器中的多个标签页，即使标签页为非激活状态，无需切换
• 可以直接读取浏览器缓存来保存图片，无需用 GUI 点击另存
• 可以对整个网页截图，包括视口外的部分（90以上版本浏览器支持）
• 可处理非open状态的 shadow-root

🎇 亮点功能​

除了以上优点，还内置了无数人性化设计。

• 极简的语法规则。集成大量常用功能，代码更优雅
• 定位元素更加容易，功能更强大稳定
• 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制，程序更稳定，编写更省心
• 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
• 允许反复使用已经打开的浏览器。无需每次运行从头启动浏览器，调试超方便
• 使用 ini 文件保存常用配置，自动调用，提供便捷的设置，远离繁杂的配置项
• 内置 lxml 作为解析引擎，解析速度成几个数量级提升
• 使用 POM 模式封装，可直接用于测试，便于扩展

三、安装导入

模块安装

pip install DrissionPage

模块导入 

📌 ChromiumPage​

如果只要控制浏览器，导入ChromiumPage。

---

📌 SessionPage​

如果只要收发数据包，导入SessionPage。

from DrissionPage import SessionPage

---

📌 WebPage