Python 进程池之非阻塞式与阻塞式

最新推荐文章于 2024-03-19 21:44:31 发布
最新推荐文章于 2024-03-19 21:44:31 发布
阅读量764 收藏 4
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44994799/article/details/113133559
版权
本文介绍了Python中使用multiprocessing模块的Pool方法进行进程池管理，重点探讨了非阻塞式和阻塞式进程的概念。非阻塞式进程将任务加入队列后立即返回，其回调函数在任务完成后调用；而阻塞式进程则是一个任务执行完毕后才开始下一个任务，确保进程顺序执行。
摘要由CSDN通过智能技术生成

进程池

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标，手动的去创建过程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到泄中有进程结束,才会创建新的进程来执行。

非阻塞式进程

全部添加到队列中，立刻返回，并没有等待其他的进程完毕。
在这里插入图片描述
在这里插入图片描述

但是回调函数是等待任务结束才调用。
在这里插入图片描述在这里插入图片描述

阻塞式进程

添加一个任务执行一个任务，如果一个任务不结束另一个任务就进不来。
在这里插入图片描述
在这里插入图片描述

是xinxin
关注
〖Python语法进阶篇④〗 - 进程池与进程锁
易编橙 · 终身成长社群，相遇已是上上签！
04-09 4万+
NICE！大家好，在上一章节，我们学习了 multiprocessing 模块 的关于进程的创建与进场常用的方法的相关知识。 通过在一个主进程下创建多个子进程可以帮助我们加速程序的运行，并且提高工作效率。不过上一章节文末我们也说过进程的问题，由于每一个进程都会消耗 `CPU 与 内存` 资源，这样就不能无限的创建进程的问题，因为会造成内存不足或者死机的情况。
python 进程池阻塞和非阻塞_python多进程—multiprocessing
weixin_39757739的博客
03-01 897
一、进程python中提供多进程包：multiprocessing，支持子进程，通信，共享内存，执行不同形式的同步，提供了Process、Pipi、Lock等组件多进程和多线程区别：多线程使用的是CPU的一个核，适合IO密集型多进程使用的是CPU的多个核，适合运算密集型1)multiprocessing的方法cpu_count()：统计cpu总数active_children()：获取所有子进程例...
Python之路(第三十六篇)并发编程：进程、同步异步、阻塞非阻塞
weixin_34355559的博客
12-26 184
一、理论基础 进程的概念起源于操作系统，是操作系统最核心的概念，也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。 即使可以利用的cpu只有一个（早期的计算机确实如此），也能保证支持（伪）并发的能力。将一个单独的cpu变成多个虚拟的cpu（多道技术：时间多路复用和空间多路复用+硬件上支持隔离），没有进程的抽象，现代计算机将不复存在。 ...
python进程池：multiprocessing.pool
weixin_34252090的博客
05-01 316
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还...
Python之进程池、阻塞模式、非阻塞模式、进程间的通信、queue
最新发布
banliyaoguai的博客
03-19 648
Python之进程池、阻塞模式、非阻塞模式、进程间的通信、queue
python进程池的阻塞和非阻塞
weixin_47793850的博客
08-20 491
初始化pool时，可以指定一个最大的进程数，当有新的请求提交到pool中时，如果pool还没有满，那么就会创造一个新的进程用于执行该请求。如果pool中的进程数满了，那么就需要等待，直到pool中有进程结束，才可以接着创造进程。非阻塞式：全部添加到队列中，立刻返回结果，并没有等待pool执行完毕，当执行完毕之后才可以调用回调函数。进程池创建的进程和主进程是共同存在的关系，只有主进程存在，pool中的子进程才存在。（没有特别大的意义）添加一个,执行一个进程，如果进程不结束，后面的进程就进不了pool。
python 进程池阻塞和非阻塞_python进程池：multiprocessing.pool
weixin_39939918的博客
12-10 1266
Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行它。1. 使用进程池import multiprocessingimport timedef func(msg):print("msg:", msg)time.sleep...
python 多进程之进程池(阻塞非阻塞callback通信队列)
weixin_43516990的博客
10-16 1336
1.阻塞式进程池 // #阻塞式 #特点： # 添加一个执行一个，加一个来一个，如果一个任务不结束另一个任务就进不来 # #进程池： # pool=Pool(max) 创建进程池对象 # pool.apply() 阻塞式进程 # pool.apply_async() 非阻塞式 # # pool.close() 停止添加新的子进程 # pool.join() 让主进程让步，让子进程完成后再主进程 // from multiprocessing import Po
python 等待_python中的非阻塞等待
weixin_39889788的博客
12-03 489
in python, if i want to keep a process or thread running forever, i can typically do this with an empty while loop:while 1:passthis, however, will eat an unfair amount of CPU process. Adding a short s...
Python之进程+线程+协程（异步、selectors模块、阻塞、非阻塞IO）
12-21
文章目录一、IO多路复用二、selectors模块 本篇文字是关于IO多路复用的更深入一步的总结，上一篇Python之进程+线程+协程（事件驱动模型、IO多路复用、select与epoll）对IO多路复用进行了概念性的分析，本篇则是对阻塞IO、非阻塞IO、与异步进行通俗性的比较和归纳。还有另外一种无阻塞IO，即为异步IO，用selectors模块来实现 一、IO多路复用 1、阻塞IO： 不停监听，遇到用户输入时，会一直卡在那里，直到接收了外部数据 2、非阻塞IO： 也可以说是间断监听，过一段时间去监听一次，不会持续卡在那里，但仍然有阻塞，只是没那么严重 3、异步最大的特点： 全程无阻塞 4、s
Python中的自定义进程和进程池
12-20
Python中的自定义进程和进程池 文章目录Python中的自定义进程和进程池一、自定义进程1.步骤：2.例进程池1.概念2.介绍——multiprocess.Pool3.非阻塞式进程池4.阻塞式进程池5.例 一、自定义进程 1.步骤： 继承python的进程类Process 重写__init__方法添加自己的属性，使用super()加载父类属性 重写run()方法（基类的接口方法，里面什么都没做，就是让子类去重写的） 首先我们按照常规导入multiprocessing模块，同样我们使用 from multiprocessing import Process 语句来导入Process类。
GIL锁、进程池与线程池
weixin_30906425的博客
01-03 126
1.什么是GIL？ 官方解释: ''' In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly be...
python 进程池阻塞和非阻塞_Python实现的服务器示例小结【单进程、多进程、多线程、非阻塞式】...
weixin_39963523的博客
12-10 129
本文实例讲述了Python实现的服务器。分享给大家供大家参考，具体如下：python - 单进程服务器#coding=utf-8from socket import *#创建套接字serSocket = socket(AF_INET, SOCK_STREAM)#重复使用绑定信息serSocket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)localAddr = ...
Python之进程池【非阻塞式&阻塞式】(8)
dianxiaoer
08-30 911
非阻塞式： (1)全部添加到队列中，立刻返回，并没有等待其他进程执行完毕； (2)回调函数等待进程任务完成才调用； from multiprocessing import Pool import os import time from random import random def task(task_name): print("开始做任务了！", task_name) ...
Python 进程池之非阻塞式
erfan_lang的博客
05-10 1153
当需要创建的子进程数量不多时，可以直接利用multprocessing中的Process动态生成多个进程。但如果是上百甚至上千的目标，手动的去创建进程的工作量巨大，此时就可以用到multprocessing模块提供的Pool方法。初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，name就会创建一个新的进程用来执行该请求，但如果池中的进程数已经达到指定的最大值，name该请求就会等待，知道池中有进程结束，才会创建新的进程来执行。 ...
python基础——进程池之非阻塞式和阻塞式
weixin_42789698的博客
02-20 32
进程池之非阻塞式和阻塞式 """ 当需要创建的子进程不多时，可以直接利用multiprocessing中的Process动态生成多个进程， 但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时可以用到multiprocessing模块提供的Pool方法。 初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满， 那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待 知道池中有进程结束，才会创建新的进程来执行 阻塞式：
python 进程创建使用，锁，阻塞和非阻塞式
xiao_liushui的博客
08-14 531
【代码】python 进程创建使用，锁，阻塞和非阻塞式。
python非阻塞式单进程服务器
学渣的博客
09-07 1340
python的单进程服务器一次只能处理一个客户端，显然是没有实用价值的，但是我们可以将单进程服务器变为非阻塞式的。 利用socket中的setblocking()方法可以将tcp套接字转化为非阻塞式套接字，可处理多个客户端，且不会相互影响，因为是非阻塞式的，但是要注意，转化为非阻塞式之后，如果没有接收到客户端消息则会产生异常，所以要用到异常处理，以及每次接收到的客户端消息不断更新，需要使用列表进行
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值