目录
前言
在我们在学习爬虫的途中,常常会遇到一些网站存在反爬的情况,往往需要进行js解密。这对于一些新手小伙伴们来说是十分不友好的,许多人也可能会使用selenium但仍不能解决,这时候该怎么办呢?DrissionPage可以解决我们的燃眉之急!!!
一、DrissionPage简介(引自官网)
DrissionPage 是一个基于 python 的网页自动化工具。
它既能控制浏览器,也能收发数据包,还能把两者合而为一。
可兼顾浏览器自动化的便利性和 requests 的高效率。
它功能强大,内置无数人性化设计和便捷功能。
它的语法简洁而优雅,代码量少,对新手友好。
二、特性以及亮点功能
🎇 强大的自研内核
采用全自研的内核,内置了无数实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:
- 无 webdriver 特征
- 无需为不同版本的浏览器下载不同的驱动
- 运行速度更快
- 可以跨 iframe 查找元素,无需切入切出
- 把 iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰
- 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换
- 可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存
- 可以对整个网页截图,包括视口外的部分(90以上版本浏览器支持)
- 可处理非
open
状态的 shadow-root
🎇 亮点功能
除了以上优点,还内置了无数人性化设计。
- 极简的语法规则。集成大量常用功能,代码更优雅
- 定位元素更加容易,功能更强大稳定
- 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心
- 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
- 允许反复使用已经打开的浏览器。无需每次运行从头启动浏览器,调试超方便
- 使用 ini 文件保存常用配置,自动调用,提供便捷的设置,远离繁杂的配置项
- 内置 lxml 作为解析引擎,解析速度成几个数量级提升
- 使用 POM 模式封装,可直接用于测试,便于扩展
三、安装导入
模块安装
pip install DrissionPage
模块导入
📌 ChromiumPage
如果只要控制浏览器,导入ChromiumPage
。
📌 SessionPage
如果只要收发数据包,导入SessionPage
。
from DrissionPage import SessionPage