python多进程模块multiprocessing学习笔记(2)之multiprocessing.Queue的使用

最新推荐文章于 2024-04-25 19:47:49 发布
最新推荐文章于 2024-04-25 19:47:49 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： Python基础实验 莫烦python多进程学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46653437/article/details/115558671
版权

参考链接: 【莫烦Python】Multiprocessing 让你的多核计算机发挥真正潜力 Python
参考链接: 莫烦多进程学习网站
参考链接: multiprocessing — 基于进程的并行
参考链接: class multiprocessing.Queue([maxsize])
参考链接: multiprocessing.Pipe([duplex])

test02_1.py

# 第3集
import multiprocessing as mp
import multiprocessing 
import time

def job(q,cnt):
    res = 0
    time.sleep(2)
    for i in range(1,cnt+1):
        res += i
    q.put(res)
    # 将 obj 放入队列。如果可选参数 block 是 True (默认值) 
    # 而且 timeout 是 None (默认值), 将会阻塞当前进程，
    # 直到有空的缓冲槽。
    
    
if __name__ == '__main__':
    q = multiprocessing.Queue()  # 返回一个使用一个管道和少量锁和信号量实现的共享队列实例。
    p1 = multiprocessing.Process(target=job,args=(q,10))  # 进程对象表示在单独进程中运行的活动。
    p2 = multiprocessing.Process(target=job,args=(q,20))  # 进程对象表示在单独进程中运行的活动。
    
    start = time.time()
    p1.start()  
    p2.start()  
    # 启动进程活动。每个进程对象最多只能调用一次。
    # 它安排对象的 run() 方法在一个单独的进程中调用。

    p1.join()
    p2.join()
    # 如果可选参数 timeout 是 None （默认值），
    # 则该方法将阻塞，直到调用 join() 方法的进程终止。
    
    end = time.time()
    res1 = q.get()
    res2 = q.get()
    print(str(res1)+'#'+str(res2))
    print('END',end-start)

控制台下输出:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 1088 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '64895' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_1.py'
55#210
END 2.1386606693267822
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

注意输出结果不唯一:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 892 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '64911' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_1.py'
210#55
END 2.1314773559570312
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

注意,试图通过使用全局变量的列表来保存多进程的结果并不可行:
test02_2.py

# 第3集
import multiprocessing as mp
import multiprocessing 
import time
lis_res = [None,None,None]

def job(cnt,index):
    res = 0
    time.sleep(2)
    for i in range(1,cnt+1):
        res += i
    global lis_res
    lis_res[index] = res
    print('多进程内:',lis_res)
    
if __name__ == '__main__':
    # lis_res = [None,None,None]
    p1 = multiprocessing.Process(target=job,args=(10,1))  # 进程对象表示在单独进程中运行的活动。
    p2 = multiprocessing.Process(target=job,args=(20,2))  # 进程对象表示在单独进程中运行的活动。
    
    start = time.time()
    p1.start()  
    p2.start()  
    # 启动进程活动。每个进程对象最多只能调用一次。
    # 它安排对象的 run() 方法在一个单独的进程中调用。

    p1.join()
    p2.join()
    # 如果可选参数 timeout 是 None （默认值），
    # 则该方法将阻塞，直到调用 join() 方法的进程终止。
    
    end = time.time()
    print(lis_res)
    print('END',end-start)

控制台下结果输出:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 981 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '65163' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_2.py'
多进程内: [None, 55, None]
多进程内: [None, None, 210]
[None, None, None]
END 2.1158740520477295
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

注意,试图通过使用列表作为函数参数来保存多进程的结果并不可行:
test02_3.py

# 第3集
import multiprocessing as mp
import multiprocessing 
import time

def job(ls,cnt,index):
    res = 0
    time.sleep(2)
    for i in range(1,cnt+1):
        res += i
    ls[index] = res
    print('多进程内:',ls)
    
if __name__ == '__main__':
    lis_res = [None,None,None]
    p1 = multiprocessing.Process(target=job,args=(lis_res,10,1))  # 进程对象表示在单独进程中运行的活动。
    p2 = multiprocessing.Process(target=job,args=(lis_res,20,2))  # 进程对象表示在单独进程中运行的活动。
    
    start = time.time()
    p1.start()  
    p2.start()  
    # 启动进程活动。每个进程对象最多只能调用一次。
    # 它安排对象的 run() 方法在一个单独的进程中调用。

    p1.join()
    p2.join()
    # 如果可选参数 timeout 是 None （默认值），
    # 则该方法将阻塞，直到调用 join() 方法的进程终止。
    
    end = time.time()
    print(lis_res)
    print('END',end-start)

控制台下输出结果展示:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 908 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '65272' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_3.py'
多进程内: [None, 55, None]
多进程内: [None, None, 210]
[None, None, None]
END 2.1195664405822754
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

可以使用multiprocessing.Pipe,使用示例如下:
在这里插入图片描述
test02_4.py

# 第3集
import multiprocessing as mp
import multiprocessing 
import time

def job(sender,cnt):
    res = 0
    time.sleep(2)
    for i in range(1,cnt+1):
        res += i
    sender.send(res)
    
if __name__ == '__main__':
    sender, receiver = multiprocessing.Pipe()
    p1 = multiprocessing.Process(target=job,args=(sender,10))  # 进程对象表示在单独进程中运行的活动。
    p2 = multiprocessing.Process(target=job,args=(sender,20))  # 进程对象表示在单独进程中运行的活动。
    
    start = time.time()
    p1.start()  
    p2.start()  
    # 启动进程活动。每个进程对象最多只能调用一次。
    # 它安排对象的 run() 方法在一个单独的进程中调用。

    p1.join()
    p2.join()
    # 如果可选参数 timeout 是 None （默认值），
    # 则该方法将阻塞，直到调用 join() 方法的进程终止。
    
    end = time.time()
    
    res1 = receiver.recv()
    res2 = receiver.recv()
    print(str(res1)+'#'+str(res2))
    print('END',end-start)

控制台下输出结果展示:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 965 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '49863' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_4.py'
55#210
END 2.143810749053955
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> 

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。
尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 889 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '49926' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_4.py'
55#210
END 2.1297760009765625
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '49931' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_4.py'
55#210
END 2.129051685333252
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '49935' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_4.py'
55#210
END 2.1296935081481934
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '49942' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test02_4.py' 
210#55
END 2.129342794418335
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

在这里插入图片描述

敲代码的小风
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中的Queue与多进程（multiprocessing）
weixin_34329187的博客
07-30 3014
2019独角兽企业重金招聘Python工程师标准>>> ...
python多进程multiprocessing模块中Queue的妙用
ai81450的博客
04-28 910
　　最近的部门RPA项目中，小爬为了提升爬虫性能，使用了Python中的多进程（multiprocessing）技术，里面需要用到进程锁Lock，用到进程池Pool，同时利用map方法一次构造多个process。Multiprocessing的使用确实能显著提升爬虫速度，不过程序交由用户使用时，缺乏一个好的GUI窗口来显示爬虫进度。之前的文章中使用了Chrome浏览器来渲染js脚本生成了...
python多进程通信之multiprocessing.Queue
热门推荐
yuanlulu的博客
10-17 2万+
multiprocessing.Queue()和queue.Queue()的区别 Queue.Queue是进程内非阻塞队列，用于进程内的各函数模块或线程间通信。 multiprocess.Queue是跨进程通信队列。但是不能用于multiprocessing.Pool多进程的通信。 multiprocessing.Manager 进程池multiprocessing.Pool()的多进程之间的通信...
python的multiprocessing的Queue如何传递数据给两个（多个）不同的进程？
最新发布
weixin_38055730的博客
04-25 452
在Python的multiprocessing模块中，Queue对象是一个线程和进程安全的队列类，可以用来在不同的进程之间传递数据。如果你想要将进程A产生的数据同时传递给进程B和C，你需要自己实现一些逻辑来处理这个数据分发。需要注意的是，这种方式可能会导致数据的顺序在进程B和进程C之间不一致，因为两个队列的操作是独立的。在这个示例中，我们创建了两个Queue对象（queue_B和queue_C），分别用于向进程B和进程C传递数据。进程A（在这个例子中是主进程）产生的数据被同时放入这两个队列中。
Python 中 queue.Queue()、multiprocessing.Queue()
freeking101的博客
01-11 1万+
标准库的队列 "多线程 安全"。multiprocessing 模块中队列，"多进程 安全"
并行执行(二)、multiprocessing
weixin_36670529的博客
07-26 849
multiprocessing模块 multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似，可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同，拥有is_alive()、join([timeout])、run()、star.........
Python教程：深入理解 Python multiprocessing.Queue
复现的博客
04-07 1145
在 Python 编程中，多进程编程是利用计算机多核心资源的重要手段之一。然而，多进程之间的通信却是一个相对复杂的问题。在本文中，我们将深入探讨 Python 中的 multiprocessing.Queue 模块，它为多进程间的通信提供了便捷而高效的解决方案。
python多进程变成学习之multiprocessing
深存少年梦
10-10 1万+
Python解释器有一个全局解释器锁（PIL—— Global Interpreter Lock），导致每个phthon进程中最多同时运行一个线程，因此Python多线程程序并不能改善程序性能，不能体现多核系统的优势。什么是全局解释器锁GIL？
Python3多进程 multiprocessing 模块实例详解
09-20
Python3的`multiprocessing`模块是用于实现多进程编程的核心工具，它允许程序创建和管理多个并发执行的进程。在Python中，多进程是通过复制主进程并分配独立的内存空间来实现的，每个进程都有自己的全局变量和堆栈，...
简单学习Python多进程Multiprocessing
09-21
Python的多进程模块Multiprocessing是Python中用于实现并发执行任务的重要工具，特别是在处理CPU密集型任务时，能够充分利用多核处理器的优势。本文将详细介绍Multiprocessing的基本概念、如何创建进程、利用队列...
Python多进程multiprocessing用法实例分析
09-21
Python的`multiprocessing`模块是实现多进程编程的关键工具，它允许我们利用多核处理器的并行计算能力，提高程序的执行效率。在Python中，线程（threading）主要用于处理I/O密集型任务，而多进程（multiprocessing）...
Python进程间通信 multiProcessing Queue队列实现详解
01-01
一、进程间通信 IPC(Inter-Process Communication) IPC机制：实现进程之间通讯 管道：pipe 基于共享的内存空间 队列：pipe+锁的概念—>queue 二、队列(Queue) 2.1 概念—–multiProcess.Queue 创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。 Queue([maxsize])创建共享的进程队列。 参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。 底层队列使用管道和锁定实现。 2.2 Queue方法使用 2.2.1 q.get的使用： 是从
Python多进程multiprocessing、进程池用法实例分析
09-17
### 多进程multiprocessing **创建与运行进程** 1. **进程创建**：使用`multiprocessing.Process`类创建进程，传入`target`参数为要执行的函数名，`args`参数为函数的参数元组。例如： ```python from ...
python多进程中multiprocessing队列
重剑无锋博客
02-10 506
python多进程中multiprocessing队列
python学习笔记——multiprocessing 多进程组件-队列Queue
weixin_34128534的博客
03-26 699
1 消息队列 1.1 基本语法 消息队列：multiprocessing.Queue，Queue是对进程安全的队列，可以使用Queue实现对进程之间的数据传输；还有一个重要作用是作为缓存使用。 Queue(maxsize = 0) method of multiprocessing， returns a queue obiect Queue(maxzize = 0)创建一个队列对象，max...
queue.Queue和multiprocessing.Queue队列的区别
weixin_43153912的博客
11-07 741
queue.Queue和multiprocessing.Queue队列的区别
python多进程multiprocessing包中queue、pipe、manager模块的功能介绍(超易懂哦！)
keepaware的博客
09-19 4601
python多进程主要用于解决python自身含有的GIL(即全局解释器锁)所导致的不能并行任务的问题，之前已经介绍了multiprocessing包的基本使用方式，本文简要介绍一下multiprocessing包中含有的几个模块pipe(管道)、queue(队列)、manager，这几个模块在某些较为复杂的实际应用中还是很有用处的。
【Python】多进程（multiprocessing）中的Queue，Pipe详解
mjiansun的专栏
09-18 1万+
Queue（结合例子一起看） 一、先说说Queue（队列对象） 队列queue 多应用在多线程应用中，多线程访问共享变量。对于多线程而言，访问共享变量时，队列queue是线程安全的。从queue队列的具体实现中，可以看出queue使用了1个线程互斥锁(pthread.Lock())，以及3个条件标量(pthread.condition()),来保证了线程安全。 queue队列的互斥锁和条件变...
2-6、队列
vettel2018的博客
02-14 129
队列介绍 进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的 创建队列的类（底层就是以管道和锁定的方式实现）： Queue([maxsize]):创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。 参数介绍： maxsize是队列中允许最大项数，省略则...
python 使用事件驱动代替while true 来获取多个multiprocessing.queue里的数据
06-09
在Python中，可以使用事件驱动的方式来获取多个`multiprocessing.Queue`里的数据，而不是使用`while True`循环。具体实现方式如下： 1. 导入`multiprocessing`和`threading`模块： ```python import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值