DrissionPage多线程实践

最新推荐文章于 2024-06-03 13:23:49 发布
最新推荐文章于 2024-06-03 13:23:49 发布
阅读量2k 收藏 47
点赞数 30
分类专栏： DrissionPage 随笔 文章标签： DrissionPage 多线程 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Orangesir/article/details/135978749
版权

DrissionPage多线程实践

背景：项目中需要抓取部分平台的数据，因为涉及到登录，且暂未实现接口登录。所以采用selenium登录后获取cookie传给requests的方式来实现。后了解到DrissionPage国产开源库，等于是把selenium和requests结合起来（bushi，实际并不是selenium而是这位大佬自己通过websorket发送cdp命令驱动浏览器）。看了下文档很快就上手了，实现了项目需求。过程中想要提高效率，就想到了多线程驱动。

需求

设定一个本次的需求：通过纯driver的方式抓取gitee开源项目https://gitee.com/explore/all的项目简介。(gitee的项目数据是可以通过requests获取的）

获取项目信息

先把待抓取的项目名称和url获取下来

from DrissionPage import ChromiumPage, ChromiumOptions

# 获取前2页的项目链接
all_proj_url = []
co = ChromiumOptions(read_file=False)
cp = ChromiumPage(addr_or_opts=co)
for i in range(1, 3):
    cp.get(f'https://gitee.com/explore/all?page={i}')
    proj_li = cp.s_eles('c:h3>a')
    for proj in proj_li:
        url_suffix = proj.attr('href')
        title = proj.attr('title')
        all_proj_url.append(f'{title} | {url_suffix}\n')
with open('target.txt', 'w', encoding='utf8') as f_w:
    f_w.writelines(all_proj_url)

保存数据的结果如下：

image-20240131104435772

for循环

先来看下直接for循环采集简介耗时多少

import time
from DrissionPage import ChromiumPage, ChromiumOptions

co = ChromiumOptions(read_file=False)
co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
cp = ChromiumPage(addr_or_opts=co)



def fun(url, index):
    """
    根据项目url访问项目详情获取简介信息
    """
    cp.get(url)
    cp.wait.doc_loaded()
    content = '暂无简介'
    content_ele = cp.ele('.git-project-desc-text')
    if content_ele:
        content = content_ele.text
    # else:
    #     Log.warning(f'index:{index}  未找到元素：{content_ele.args}')
    Log.info(f'index:{index}  url: {url}  content: {content}')
    return content


st = time.time()
futures = []
with open('target.txt', 'r', encoding='utf8') as f_r:
    for index, line in enumerate(f_r):
        url = line.strip('\n').split(' | ')[1]
        fun(url, index)
cp.quit()
Log.info(f'total cost {time.time() - st}')

执行结果

D:\ProgramData\virtualenvs\all_tool\Scripts\python.exe D:\01work\02project\py_project\all_tool\Test\dp_learn.py 
MindSpore/RingMo-Framework 中科院空天信息创新研究院与华为大模型研发团队联合打造的一款用于视觉领域的全国产化自监督预训练开发套件

...

total cost 128.63436770439148

可以看到耗时有128秒。

多线程1

修改代码为多线程执行，注意，这里是有坑的！这种方法看看就行

import time
from DrissionPage import ChromiumPage, ChromiumOptions
from concurrent.futures import ThreadPoolExecutor, as_completed
from common.operate_log import Log

co = ChromiumOptions(read_file=False)
co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
cp = ChromiumPage(addr_or_opts=co)    # 注意这里有坑，在下面的执行结果中会体现


def fun(url):
    """
    根据项目url访问项目详情获取简介信息
    """
    cp.get(url)  # 注意这里有坑，在下面的执行结果中会体现
    content = '暂无简介'
    content_ele = cp.ele('.git-project-desc-text')
    if content_ele:
        content = content_ele.text
    else:
        Log.info('未找到元素：', content_ele.args)

    Log.info(content)
    return content


st = time.time()
with ThreadPoolExecutor(max_workers=3,thread_name_prefix='thread') as tp:
    with open('target.txt', 'r', encoding='utf8') as f_r:
        futures = [tp.submit(fun, line.strip('\n').split(' | ')[1]) for line in f_r]
        # 通过as_completed获取已完成的任务结果
        for future in as_completed(futures):
            res = future.result()
Log.info(f'total cost {time.time() - st}')

执行结果：

D:\ProgramData\virtualenvs\all_tool\Scripts\python.exe D:\01work\02project\py_project\all_tool\Test\dp_learn.py 
2024-01-31 11:34:39.992   | thread_2 | INFO     | - 用Rust实现仿nginx，力争实现一个可替代方案，http/https代理, socks5代理, 负载均衡, 反向代理, 静态文件服务器，四层TCP/UDP转发，websocket转发, 内网穿透nat
2024-01-31 11:34:41.827   | thread_1 | INFO     | - MindSpore Pandas is a data analysis framework, which is compatible with Pandas interfaces and provides distributed processing capabilities.
2024-01-31 11:34:56.413   | thread_1 | INFO     | - 👚 基于 Ant Design 设计语言的 Winform 界面库
2024-01-31 11:34:56.417   | thread_0 | INFO     | - 👚 基于 Ant Design 设计语言的 Winform 界面库
2024-01-31 11:34:59.950   | thread_0 | INFO     | - 中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。
2024-01-31 11:34:59.955   | thread_1 | INFO     | - 中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。

...

个人计划安排保存在自己的服务器中，并在任意设备之间实时同步。同时还是一个个人博客。
2024-01-31 11:35:31.259   | thread_1 | INFO     | - 本项目发布了Phytium系列CPU的Standalone BSP源码，Baremetal参考例程及其配置构建工具
2024-01-31 11:35:42.809   | thread_2 | INFO     | - 未找到元素：
2024-01-31 11:35:42.810   | thread_2 | INFO     | - 暂无简介
2024-01-31 11:35:42.811   | MainThread | INFO     | - total cost 65.02382159233093

Process finished with exit code 0

从日志中看到如下几个问题：

  1. 不同的项目简介的内容相同
  2. 页面存在找不到元素的情况

原因分析：

dp是通过websorket的方式驱动浏览器的，每次访问页面、定位元素、操作元素等均是通过一个确定的ip:port来发送的请求。

如果这个ws连接已经存在，即复用。

image-20240201170612044

所以会出现页面在操作上一个请求时，当前请求发起定位元素（获取元素属性）的请求，就会存在获取的结果乱了（或者上面出现的内容重复了）。同时，如果页面对象在定位元素准备操作元素时，如果此时另一个请求发过来页面更新了（访问了新的内容）当前要操作的元素不再存在于前一个获取到的页面，就会抛出异常。

下面我们修改下代码：

import time
from DrissionPage import ChromiumPage, ChromiumOptions
from concurrent.futures import ThreadPoolExecutor
from common.operate_log import Log


def fun(url, index):
    """
    根据项目url访问项目详情获取简介信息
    """
    # 每个线程单独创建自己的cp对象即使用单独的ws通信
    co = ChromiumOptions(read_file=False)
    co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
    co.auto_port()  # 每个线程单独使用一个ip:port通信
    cp = ChromiumPage(addr_or_opts=co)
    cp.get(url)
    cp.wait.doc_loaded()
    content = '暂无简介'
    content_ele = cp.ele('.git-project-desc-text')
    if content_ele:
        content = content_ele.text
    Log.info(f'index:{index}  url: {url}  content: {content}')
    cp.quit(force=True)
    return content


st = time.time()
with ThreadPoolExecutor(max_workers=3, thread_name_prefix='thread') as tp:
    with open('target.txt', 'r', encoding='utf8') as f_r:
        futures = [tp.submit(fun, line.strip('\n').split(' | ')[1], index) for index, line in enumerate(f_r)]
Log.info(f'total cost {time.time() - st}')

执行结果

D:\ProgramData\virtualenvs\all_tool\Scripts\python.exe D:\01work\02project\py_project\all_tool\Test\dp_learn.py 
2024-02-01 10:11:27.391   | thread_2 | INFO     | - index:2  url: https://gitee.com/tickbh/wmproxy  content: 用Rust实现仿nginx，力争实现一个可替代方案，http/https代理, socks5代理, 负载均衡, 反向代理, 静态文件服务器，四层TCP/UDP转发，websocket转发, 内网穿透nat
2024-02-01 10:11:28.080   | thread_0 | INFO     | - index:0  url: https://gitee.com/mindspore/ringmo-framework  content: 中科院空天信息创新研究院与华为大模型研发团队联合打造的一款用于视觉领域的全国产化自监督预训练开发套件
2024-02-01 10:11:29.054   | thread_1 | INFO     | - index:1  url: https://gitee.com/mindspore/mindpandas  content: MindSpore Pandas is a data analysis framework, which is compatible with Pandas interfaces and provides distributed processing capabilities.

...

2024-02-01 10:14:07.356   | thread_2 | INFO     | - index:25  url: https://gitee.com/yeytytytytyytyt/air-drop-plus  content: 使用 Python 和快捷指令实现的 Windows 和 iOS 设备之间互传文件和剪贴板同步
2024-02-01 10:14:08.360   | thread_1 | INFO     | - index:26  url: https://gitee.com/oi-contrib/VISLite  content: 🎃 灵活、快速、简单的数据可视化交互式跨端前端库 💯
2024-02-01 10:14:17.849   | thread_0 | INFO     | - index:27  url: https://gitee.com/phytium_embedded/phytium-standalone-sdk  content: 本项目发布了Phytium系列CPU的Standalone BSP源码，Baremetal参考例程及其配置构建工具
2024-02-01 10:14:26.843   | thread_1 | INFO     | - index:28  url: https://gitee.com/blossom-editor/blossom  content: 一个支持私有部署的云端存储双链笔记软件，你可以将你所有的笔记，图片，个人计划安排保存在自己的服务器中，并在任意设备之间实时同步。同时还是一个个人博客。
2024-02-01 10:14:41.634   | thread_2 | INFO     | - index:29  url: https://gitee.com/TencentOS/TencentOS-tiny  content: 暂无简介
2024-02-01 10:14:44.896   | MainThread | INFO     | - total cost 212.73357844352722

Process finished with exit code 0

可以看到上面的俩问题解决了：1. 多个线程的返回结果不同了；2. 页面找不到元素（丢失了页面对象）的情况不存在了

但是出现了新的问题：多线程执行的时间居然比for循环耗时更长，这里用了212秒！

下面修改程序解决这个问题。

多线程2

考虑到每个线程都会单独启动cp对象，这里耗时应该是比较久的，所以尝试使用固定的cp对象，不同的线程接管不同的对象执行任务。

  • 方法1：在fun中定义启动cp对象
import time
from DrissionPage import ChromiumPage, ChromiumOptions
from concurrent.futures import ThreadPoolExecutor
from common.operate_log import Log


def fun(url, index):
    """
    根据项目url访问项目详情获取简介信息
    """
    co = ChromiumOptions(read_file=False)
    co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
    co.set_local_port(922 + (index % thread_num))  # 通过线程和任务的index确定使用哪个端口的cp对象，，，指定固定的端口通讯
    cp = ChromiumPage(addr_or_opts=co)  # 这里如果发现端口存在就不会再起新的浏览器
    cp.get(url)
    cp.wait.doc_loaded()
    content = '暂无简介'
    content_ele = cp.ele('.git-project-desc-text')
    if content_ele:
        content = content_ele.text
    Log.info(f'index:{index}  url: {url}  content: {content}')
    # cp.quit(force=True)  # 因为复用了cp对象，所以执行完浏览器就不要关了，不然还会重新启动
    return content


st = time.time()
thread_num = 3  # 定义了线程数
with ThreadPoolExecutor(max_workers=thread_num, thread_name_prefix='thread') as tp:
    with open('target.txt', 'r', encoding='utf8') as f_r:
        futures = [tp.submit(fun, line.strip('\n').split(' | ')[1], index) for index, line in enumerate(f_r)]
Log.info(f'total cost {time.time() - st}')
  • 方法2：启动前就把浏览器对象初始化好
import time
from DrissionPage import ChromiumPage, ChromiumOptions
from concurrent.futures import ThreadPoolExecutor
from common.operate_log import Log


def fun(url, index):
    """
    根据项目url访问项目详情获取简介信息
    """
    cp = cp_li[index % thread_num]
    cp.get(url)
    cp.wait.doc_loaded()
    content = '暂无简介'
    content_ele = cp.ele('.git-project-desc-text')
    if content_ele:
        content = content_ele.text
    Log.info(f'index:{index}  url: {url}  content: {content}')
    return content


st = time.time()
thread_num = 3
cp_li = []
for port in range(thread_num):  # 外部直接启动三个浏览器对象
    co = ChromiumOptions(read_file=False)
    co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
    co.set_local_port(922 + port)  # 指定固定的端口通讯
    cp_li.append(ChromiumPage(addr_or_opts=co))

with ThreadPoolExecutor(max_workers=thread_num, thread_name_prefix='thread') as tp:
    with open('target.txt', 'r', encoding='utf8') as f_r:
        futures = [tp.submit(fun, line.strip('\n').split(' | ')[1], index) for index, line in enumerate(f_r)]
for cp in cp_li:
    cp.quit()
Log.info(f'total cost {time.time() - st}')

方法2的好处是能够在执行完成后把浏览器关掉，而方法1，不太好处理。

执行结果

D:\ProgramData\virtualenvs\all_tool\Scripts\python.exe D:\01work\02project\py_project\all_tool\Test\dp_learn.py 
2024-02-01 10:31:18.986   | thread_2 | INFO     | - index:2  url: https://gitee.com/tickbh/wmproxy  content: 用Rust实现仿nginx，力争实现一个可替代方案，http/https代理, socks5代理, 负载均衡, 反向代理, 静态文件服务器，四层TCP/UDP转发，websocket转发, 内网穿透nat
2024-02-01 10:31:19.415   | thread_1 | INFO     | - index:1  url: https://gitee.com/mindspore/mindpandas  content: MindSpore Pandas is a data analysis framework, which is compatible with Pandas interfaces and provides distributed processing capabilities.
2024-02-01 10:31:37.022   | thread_0 | INFO     | - index:13  url: https://gitee.com/tsbrowser/xiangtian-workbench  content: 一款集桌面管理、效率办公、游戏娱乐为一体的副屏“桌面系统”。 除副屏以外，主屏窗口化也可以正常使用。 基于Electron和Vue全家桶开发。 想天工作台客户端的开源项目库，可编译为客户端或者web网页（web版暂时体验糟糕，不推荐）。 如果不会开发的，也可以直接下载官网版本，安装在电脑上就可以使用。
2024-02-01 10:31:38.817   | thread_1 | INFO     | - index:15  url: https://gitee.com/zhiming999/rpcf  content: 这是一个基于C++的多语言，高可用，高并发，高安全的RPC和流服务框架。自带接口定义语言，快速生成分布式应用框架，有效节省学习和开发时间。本项目持续更新中。

...

2024-02-01 10:31:53.407   | thread_1 | INFO     | - index:23  url: https://gitee.com/secretflow/secretpad  content: 🎃 灵活、快速、简单的数据可视化交互式跨端前端库 💯
2024-02-01 10:31:55.329   | thread_2 | INFO     | - index:28  url: https://gitee.com/blossom-editor/blossom  content: 一个支持私有部署的云端存储双链笔记软件，你可以将你所有的笔记，图片，个人计划安排保存在自己的服务器中，并在任意设备之间实时同步。同时还是一个个人博客。
2024-02-01 10:31:55.738   | thread_0 | INFO     | - index:27  url: https://gitee.com/phytium_embedded/phytium-standalone-sdk  content: 本项目发布了Phytium系列CPU的Standalone BSP源码，Baremetal参考例程及其配置构建工具
2024-02-01 10:32:12.030   | thread_1 | INFO     | - index:29  url: https://gitee.com/TencentOS/TencentOS-tiny  content: 暂无简介
2024-02-01 10:32:12.031   | MainThread | INFO     | - total cost 62.62155222892761

Process finished with exit code 0

通过执行日志可以看到前面提到的问题解决了，多线程执行后总耗时也降下来了，此处为62秒。

还有其他的方案吗？当然！

多线程3

前面是采用多个线程分别操作对应的浏览器对象。新的解决思路是，只启动一个浏览器对象，不同的线程操作不同的浏览器tab页。

import time
from DrissionPage import ChromiumPage, ChromiumOptions
from concurrent.futures import ThreadPoolExecutor
from common.operate_log import Log


def fun(url, index):
    """
    根据项目url访问项目详情获取简介信息
    """
    tabs = cp.tabs  # 获取所有的tab页
    if len(tabs) < thread_num:  # 没到线程数量的tab页的话就新开tab页访问
        cp.new_tab(url)
        tab = cp.latest_tab
    else:
        tab = cp.get_tab(tabs[index % thread_num])  # 取对应的tab来访问
        tab.get(url)
    tab.wait.doc_loaded()
    content = '暂无简介'
    content_ele = tab.ele('.git-project-desc-text')  # 注意这里要使用具体的tab来定位元素，而非cp对象
    if content_ele:
        content = content_ele.text
    Log.info(f'index:{index}  url: {url}  content: {content}')
    return content


st = time.time()
thread_num = 3
co = ChromiumOptions(read_file=False)
co.set_browser_path(r"D:\ProgramData\Twinkstar\twinkstar.exe")
cp = ChromiumPage(addr_or_opts=co)

with ThreadPoolExecutor(max_workers=thread_num, thread_name_prefix='thread') as tp:
    with open('target.txt', 'r', encoding='utf8') as f_r:
        futures = [tp.submit(fun, line.strip('\n').split(' | ')[1], index) for index, line in enumerate(f_r)]

cp.quit()
Log.info(f'total cost {time.time() - st}')

查看执行结果

D:\ProgramData\virtualenvs\all_tool\Scripts\python.exe D:\01work\02project\py_project\all_tool\Test\dp_learn.py 
2024-02-01 16:56:00.731   | thread_1 | INFO     | - index:3  url: https://gitee.com/aizuda/easy-retry  content: 🔥🔥🔥 灵活，可靠和快速的分布式任务重试和分布式任务调度平台
2024-02-01 16:56:00.732   | thread_0 | INFO     | - index:4  url: https://gitee.com/jeremyczhen/fdbus  content: Fast Distributed Bus (FDBus)
2024-02-01 16:56:01.859   | thread_2 | INFO     | - index:5  url: https://gitee.com/FredyXu/coffee  content: 一个基于ESP32使用ESP-IDF开发的摩尔斯电码练习器。

...

2024-02-01 16:56:20.427   | thread_0 | INFO     | - index:28  url: https://gitee.com/blossom-editor/blossom  content: 一个支持私有部署的云端存储双链笔记软件，你可以将你所有的笔记，图片，个人计划安排保存在自己的服务器中，并在任意设备之间实时同步。同时还是一个个人博客。
2024-02-01 16:56:31.682   | thread_1 | INFO     | - index:29  url: https://gitee.com/TencentOS/TencentOS-tiny  content: 暂无简介
2024-02-01 16:56:37.540   | MainThread | INFO     | - total cost 44.64077115058899

Process finished with exit code 0

通过执行日志开到，效率大幅度提升。总耗时现在降到了44秒。

总结

至此，多线程操作cp就验证完毕了。可以看到有三种思路：

  1. 每个线程分别启动一个浏览器去执行任务，通过auto_port实现 – 每次启动关闭，会增加耗时
  2. 根据线程数提前启动浏览器进程后，在fun中使用不同浏览器执行，最后关闭进程。同时也介绍了set_local_port方法，本质和上面的auto_port一样，一个指定，一个随机
  3. 使用一个浏览器，启动多个tab页，多个线程分别操作不同的tab页即可。这里用到的是new_tab和get_tab等方法

补充，本次验证使用的解释器和库版本：

Python        3.9.5
DrissionPage        4.0.4.3

由于dp库的研发大佬还在不断迭代，后面可能有更方便的方法。后期项目中如有用到，再更新新版本实现方法。

lvwenju
关注
  • 30
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
drissionpage爬虫自动化入门案例与视频教程与相关代码
十一姐的博客
04-13 925
drissionpage入门案例文章视频与代码，官方文档：https://drissionpage.cn/get_start/installation
stm32单片机多线程实例
12-03
多线程是实现复杂任务并发执行的关键技术，能够提高资源利用率，优化系统响应时间。在STM32上实现多线程，通常会借助实时操作系统（RTOS）如RT-Thread。 RT-Thread是一个轻量级、开源的实时操作系统，它为STM32等微...
探索DrissionPage：结合浏览器自动化与数据包操控的先进工具
Code掘金的博客
04-19 1348
DrissionPage是一个新兴的Python库，它允许开发者通过结合传统浏览器自动化和网络数据包操控的方式来控制和与网页交互。不同于传统的Selenium或Pyppeteer这类浏览器自动化工具，DrissionPage提供了直接发送和接收网络数据包的能力，这类似于使用HTTP库（如requests）进行的操作。DrissionPage以其创新的结合了浏览器自动化和数据包操控的功能，为Web自动化领域带来了新的可能性。
网页自动化工具DrissionPage
李玺
04-19 6024
DrissionPage是一款新的基于 python 的网页自动化工具。
DrissionPage模块(五)
Davidzhuming的博客
06-03 512
path: ini文件的路径， None 保存到当前读取的配置文件，传入 'default' 保存到默认ini文件。设置load_mode，可接收 'normal', 'eager', 'none'path: ini文件的路径，传入 'default' 保存到默认ini文件。path: ini文件的路径，传入 'default' 保存到默认ini文件。value: 可接收 'normal', 'eager', 'none'返回页面加载策略，'normal', 'eager', 'none'
DrissionPage
嘻嘻哈哈的大傻子的博客
04-19 1568
但从 3.0 版开始，作者另起炉灶，用 chromium 协议自行实现了 selenium 全部功能，从而摆脱了对 selenium 的依赖，功能更多更强，运行效率更高，开发更灵活。因此，DrissionPag设计初衷，是将它们合而为一，能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。运行速度更快，可以跨 iframe 查找元素，无需切入切出，iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰。使不稳定的网络变得易于控制，程序更稳定，编写更省心。
【DrissionPage】入门指南及查找元素
春天的波菜
02-23 1万+
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。
自动化测试框架：DrissionPage（2）——实际使用
up1292的博客
04-20 1万+
ChromiumPage，SessionPage
自动化测试框架：DrissionPage（1）——安装与设置
热门推荐
up1292的博客
04-06 1万+
但从 3.0 版开始，作者另起炉灶，用 chromium 协议自行实现了 selenium 全部功能，从而摆脱了对 selenium 的依赖，功能更多更强，运行效率更高，开发更灵活。因此，DrissionPage设计初衷，是将它们合而为一，能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。安装过程也是遇到了很多麻烦，下载就花了很多时间，中间下载一直断，就一直运行安装命令，总算多次安装后安装完成了。说了这么多，相信很多人已经跃跃欲试了，怎么快速搭建这套框架，先要准备一些基础环境。
java多线程并发编程 核心技术应用实践
最新发布
06-21
在《java多线程并发编程核心技术应用实践》中，我们将深入探讨Java平台上的并发机制、线程安全与同步控制、线程池以及实战技巧。 首先，我们需要理解Java中的线程基础。线程是程序执行的最小单位，一个进程可以有多...
java多线程编程实践
05-01
DrissionPage:集成Selenium和请求会话的模块，封装常见的页面操作，可以实现两种模式之间的无缝切换
03-19
简介 DrissionPage，即驱动程序和会话组合而成的页面。是一个基于python的Web自动化操作集成工具。它实现了selenium并且请求之间的无缝切换。可以兼顾Selenium的便利性和要求的高效率。它集成了页面常用功能，两种模式系统一致的API，使用便捷。它使用POM模式封装了页面元素常用的方法，适合自动化操作功能扩展。更棒的是，它的使用方式非常简洁和人性化，代码量少，对新手友好。 项目地址： 示例地址： 联系邮箱： 交流QQ群： 897838127 理念 简洁，易用，可扩展 背景 请求爬虫面对要登录的网站时，要分析数据包，JS源码，结构复杂的请求，经常还要应付验证码，JS替换，签名参数等反爬手段，门更大。如果数据是由JS计算生成的，还必须重现计算过程，体验不好，开发效率不高。因此，这个库将Selenium和要求合而为一，不同须要时切换相应模式，并提供一种人性化的使用方法，提
鱼刺多线程模块
11-25
"鱼刺多线程模块"是一个专为提升程序运行效率而设计的开源组件，它主要聚焦于多线程技术的应用。...通过理解和掌握这个模块，开发者可以创建更加高效、响应迅速的应用程序，同时也能深入了解多线程编程的原理和实践。
Qt多线程通讯
02-27
这个DEMO对于理解和实践Qt多线程通信是非常有价值的，可以帮助开发者创建更加高效和响应性的应用程序。通过深入学习和实践这些概念，我们可以更好地利用多核处理器，优化程序性能，同时保持用户界面的流畅性。
Python中如何使用ThreadPoolExecutor一次开启多个线程
这家伙很懒，什么都没有留下
10-27 1094
通过本文的介绍，我们可以了解到是Python中用于实现多线程并发执行的类。通过使用，我们可以方便地创建线程池、提交任务、获取执行结果以及处理异常等。在使用多线程时，我们需要注意避免数据竞争、死锁等问题，并合理拆分和组合任务，设置优先级、异常处理、超时处理以及终止和重试机制等。希望本文能够帮助大家更好地掌握Python中的多线程并发执行技术。
关于网页自动化工具DrissionPage进行爬虫的使用方法
Jnsone的博客
05-11 4350
一个基于 python 的网页自动化工具，它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率，可以跨 iframe 查找元素，无需切入切出
自动化测试框架：DrissionPage
m0_51805222的博客
10-31 5271
1、既可以像selenium控制浏览器，也可以像requests进行数据包的发送和接收，将这两者结合在一起。这种综合性能使其非常灵活，可以适用于各种不同的自动化任务。2、工具内置了许多人性化的设计和便捷功能，使其更容易使用。这对于新手来说非常友好，也有助于提高开发效率。3、对于需要登录网站、分析数据包、处理JS源码、构造复杂请求以及应对验证码、JS混淆、签名参数等反爬手段的任务，DrissionPage提供了强大的支持。
DrissionPage项目实战记录
weixin_46023159的博客
11-30 636
共同学习DrissionPage
都 “3202”年了还用 selemunim ？教你使用 scrapy + DrissionPage 爬取51job 和 过滑块验证码
py_tiro的博客
07-10 4099
在爬取网站数据，往往会碰到一些加密的数据或者各种各样的验证码，可是 直接使用 request 需要js 逆向耗费大量时间，但使用 selemunim 等自动化工具又很容易被识别。哪有没有一种折中的办法既可以有request 请求的速度又有selemunim 的简单的操作？或许DrissionPage 可以帮助你。
java多线程最佳实践,Java多线程并发最佳实践
05-29
Java多线程最佳实践包括以下几点： 1. 尽量使用Java并发库中的高级API，如Executor、Semaphore、CountDownLatch等，避免手动实现线程同步和互斥机制。 2. 确保线程安全，避免对共享资源的并发访问，可以使用synchronized关键字或者Lock接口实现线程同步。 3. 避免死锁，即避免多个线程相互等待对方释放锁的情况，可以使用资源分配顺序、避免嵌套锁等方式避免死锁。 4. 尽量使用线程池，避免频繁创建和销毁线程的开销，同时可以控制线程的数量和生命周期。 5. 使用volatile关键字保证可见性，避免多个线程对同一变量的读写不一致的情况。 6. 使用Atomic类保证原子性，避免多个线程对同一变量的并发修改。 7. 尽量避免使用Thread.stop()方法强制终止线程，应该使用标志位或者interrupt()方法通知线程结束。 以上是Java多线程并发最佳实践的几个方面，希望对您有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值