Python基础（八）-系统编程之进程--multiprocessing（阻塞非阻塞）

最新推荐文章于 2024-07-24 11:54:32 发布

tao3741

最新推荐文章于 2024-07-24 11:54:32 发布

阅读量5.7k

点赞数

本文链接：https://blog.csdn.net/tao3741/article/details/76743088

版权

本文介绍了Python的multiprocessing模块，重点讲解了进程、线程和协程的区别，以及如何使用multiprocessing创建子进程。通过start()启动进程，join()进行同步，使用进程池Pool进行任务调度。此外，还探讨了apply_async()的非阻塞调用和apply()的阻塞调用方式。

摘要由CSDN通过智能技术生成

进程拥有自己独立的堆和栈，既不共享堆，亦不共享栈，进程由操作系统调度。

线程拥有自己独立的栈和共享的堆，共享堆，不共享栈，线程亦由操作系统调度(标准线程是的)。

协程和线程一样共享堆，不共享栈，协程由程序员在协程的代码里显示调度

	multiprocessing模块提供了process类来代表一个进程对象。
	语法结构&#x

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tao3741

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

〖Python语法进阶篇④〗 - 进程池与进程锁

易编橙 · 终身成长社群，相遇已是上上签！

04-09

4万+

NICE！大家好，在上一章节，我们学习了 multiprocessing 模块的关于进程的创建与进场常用的方法的相关知识。通过在一个主进程下创建多个子进程可以帮助我们加速程序的运行，并且提高工作效率。不过上一章节文末我们也说过进程的问题，由于每一个进程都会消耗 `CPU 与内存` 资源，这样就不能无限的创建进程的问题，因为会造成内存不足或者死机的情况。

【python基础】多任务编程之多进程

weixin_42115131的博客

06-13

511

本文详细介绍了python多进程编程，包括os.fork、multiprocessing、进程池和进程间通信的基本原理。

参与评论您还未登录，请先登录后发表或查看评论

python 进程池阻塞和非阻塞_python多进程—multiprocessing

weixin_39757739的博客

03-01

894

一、进程python中提供多进程包：multiprocessing，支持子进程，通信，共享内存，执行不同形式的同步，提供了Process、Pipi、Lock等组件多进程和多线程区别：多线程使用的是CPU的一个核，适合IO密集型多进程使用的是CPU的多个核，适合运算密集型1)multiprocessing的方法cpu_count()：统计cpu总数active_children()：获取所有子进程例...

Python_multiprocessing

yigui3542的博客

08-27

592

一、基本概念 fork()调用一次，返回两次，因为操作系统自动把当前进程复制了一份，然后分别在父子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getpid()就可以拿到父进程的ID。二、multiprocessing multiprocessi...

python 多线程函数的阻塞和非阻塞

最新发布

canyingfeixue的专栏

07-24

【代码】python 多线程函数的阻塞和非阻塞。

python多进程的主进程阻塞_python multiprocessing多进程中开辟多线程的问题

weixin_39768695的博客

12-14

506

叙述起来有些麻烦，大致说一下：主程序中我开辟了进程池，然后我在其中一个进程中开辟个线程池，利用该线程池并发请求页面！但是，我发现线程池的分配必须写到函数中，如果写到外边当作全局变量的话，程序就一直卡在那里，不知道是阻塞了？还是无限的“递归”下去了？总之不出结果。虽然我知道，线程池不能在主程序中分配好然后作为参数传给某个进程中使用，毕竟是进程嘛。一个道理，import的时候其实全局变量的线程池已经分...

python3多进程阻塞与非阻塞快速理解

qq_41562377的博客

03-31

8462

python多进程阻塞和非阻塞 非阻塞：（不需要等待）。简单来说就是开启几个进程就同时运行几个进程。比如下面程序，开启3个进程，那么程序一运行的时候立马执行3个进程同时调用function方法，不需要等待进程1执行完在执行进程2。 from multiprocessing import Lock, Pool import time def function(index): pr...

一文看懂python中的并发/并行、同步/异步、阻塞/非阻塞

西门大盗捉虫专家

01-03

731

并发和并行：　并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。简言之，是指系统具有处理多个任务的能力。注意：这里主要指的是多个程序同时处于运行的状态，而不一定是同一时刻（再念一遍：同一时刻）在运行。比如单核CPU上同时运行3个程序，我们可以说着三个程序是并发的，虽然本质上，CPU...

Python高级编程-Python多进程编程基础及实例讲解共14页.pdf

06-04

Python的多进程编程是其高级特性之一，尤其在处理CPU密集型任务时，利用多进程可以有效提升程序的并发性能，因为多进程不受全局解释器锁（GIL）的限制，能够充分利用多核处理器的优势。在Python中，`multiprocessing...

python爱心代码-02-操作系统.ev4.rar

03-09

标题中的“python爱心代码-02-操作系统.ev4.rar”暗示了这是一个关于Python编程的教程，特别是涉及到操作系统方面的内容。这个教程可能是一个视频课程，存储在名为“python爱心代码-02-操作系统.ev4.mp4”的文件中，...

python队列queue不堵塞_Python多进程不能将信息放入队列

weixin_39716264的博客

12-09

222

1.Python多进程不能将信息放入队列2.代码：from urllib import requestfrom bs4 import BeautifulSoupfrom multiprocessing import Managerfrom multiprocessing import Poolimport osdef hand_url(url,name,queue):room_message = ...

Python 进程池之非阻塞式

erfan_lang的博客

05-10

1151

当需要创建的子进程数量不多时，可以直接利用multprocessing中的Process动态生成多个进程。但如果是上百甚至上千的目标，手动的去创建进程的工作量巨大，此时就可以用到multprocessing模块提供的Pool方法。初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，name就会创建一个新的进程用来执行该请求，但如果池中的进程数已经达到指定的最大值，name该请求就会等待，知道池中有进程结束，才会创建新的进程来执行。 ...

Python之进程池、阻塞模式、非阻塞模式、进程间的通信、queue

banliyaoguai的博客

03-19

622

Python之进程池、阻塞模式、非阻塞模式、进程间的通信、queue

记录一下python的多线程如何不阻塞

m0_63513270的博客

11-11

1332

我们对一个函数开了多进程，系统会把这个整个py文件除了if以及上面的非def 内容都运行一遍，但后再运行pool里面的那个函数，所以一切不必要的变量，都要写在if里面，一面多进程都运行出来了。如何获取结果呢，一定不能直接在pool.apply_async后面加get，这样相当于，你开一进程就要结果，就会直接阻塞，等返回了get才会开下一个。所以先用一个容器把所有pool的返回装起来，然后等pool跑完了，在去pool取结果。这里再说一下多进程怎么运行，首先要知道if __name__是干什么的，

简析Python中的四种队列

python学习者的博客

05-21

7160

队列是一种只允许在一端进行插入操作，而在另一端进行删除操作的线性表。在Python文档中搜索队列（queue）会发现，Python标准库中包含了四种队列，分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。 collections.deque deque是双端队列（double-ended q...

python process join_在多进程中使用Join（）时出现阻塞问题

weixin_39712865的博客

12-10

2016

我不明白为什么下面的代码块。我尝试简单地循环一段时间，然后发送一条消息到线程停止。我的进程类如下。在class Worker(multiprocessing.Process):def __init__(self, queue):multiprocessing.Process.__init__(self)self.queue = queueself.running = Truedef run(sel...

python 多进程之进程池(阻塞非阻塞callback通信队列)

weixin_43516990的博客

10-16

1331

1.阻塞式进程池 // #阻塞式 #特点： # 添加一个执行一个，加一个来一个，如果一个任务不结束另一个任务就进不来 # #进程池： # pool=Pool(max) 创建进程池对象 # pool.apply() 阻塞式进程 # pool.apply_async() 非阻塞式 # # pool.close() 停止添加新的子进程 # pool.join() 让主进程让步，让子进程完成后再主进程 // from multiprocessing import Po

python非阻塞进程与阻塞进程

youcijibi的博客

02-06

615

from multiprocessing import Pool import random import time import os def worker(msg): start = time.time() print("%s开始执行，进程id是%d" % (msg, os.getpid())) time.sleep(random.random() * 2) stop = time.time() print(msg, '执行完毕,耗时%0.2f' % (st.