python多进程模块multiprocessing学习笔记(5)之共享内存和锁

最新推荐文章于 2023-05-19 23:12:04 发布
最新推荐文章于 2023-05-19 23:12:04 发布
阅读量692 收藏
点赞数
分类专栏： Python基础实验 莫烦python多进程学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46653437/article/details/115573331
版权

参考链接: 【莫烦Python】Multiprocessing 让你的多核计算机发挥真正潜力 Python
参考链接: 莫烦多进程学习网站
参考链接: multiprocessing — 基于进程的并行
参考链接: multiprocessing.Value(typecode_or_type, *args, lock=True)
参考链接: class multiprocessing.Lock

test05_1.py

# 第6集共享内存和第7集锁

import multiprocessing as mp
import multiprocessing
import time

def job(v, num):
    for _ in range(9):
        time.sleep(0.1)
        v.value += num
        print(v.value)

def multicore():
    # 返回一个从共享内存上创建的 ctypes 对象。
    # 默认情况下返回的实际上是经过了同步包装器包装过的。
    # 可以通过 Value 的 value 属性访问这个对象本身。
    v = mp.Value('i',0)  
    p1 = mp.Process(target=job, args=(v,3))
    p2 = mp.Process(target=job,args=(v,100)) 
    
    p1.start()
    p2.start()
    
    p1.join()
    p2.join()

if __name__ == '__main__':
    start = time.time()
    multicore()
    end = time.time()
    print('程序运行时间:',end-start)  
    # 程序运行时间: 1.0667119026184082

控制台下输出结果展示(由于多个进程多资源的抢占,导致输出结果的不确定性和读写数据的非一致性):

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 938 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55086' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_1.py'
3
103
106
209
309
312
412
415
515
518
618
621
721
724
824
程序运行时间: 1.0735499858856201
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55093' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_1.py'
3
103
106
206
209
309
312
412
415
515
518
618
621
721
724
927
程序运行时间: 1.0723941326141357
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55098' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_1.py' 
100
103
203
206
306
309
409
412
512
515
615
618
718
721
821
927
程序运行时间: 1.0703470706939697
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55102' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_1.py' 
3
103
106
206
209
309
312
412
415
515
518
618
621
721
724
824
827
927
程序运行时间: 1.075882911682129
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  c:; cd 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程'; & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55106' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_1.py' 
3
3
103
106
206
209
309
312
315
315
415
418
518
521
621
624
724
727
程序运行时间: 1.072216510772705
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

test05_2.py (大颗粒度使用锁)

# 第6集共享内存和第7集锁

import multiprocessing as mp
import multiprocessing
import time

def job(lk, v, num):
    lk.acquire()  # 可以阻塞或非阻塞地获得锁。
    for _ in range(9):
        time.sleep(0.1)
        v.value += num
        print(v.value)
    lk.release()  # 释放锁，可以在任何进程、线程使用，并不限于锁的拥有者。

def multicore():
    # 返回一个从共享内存上创建的 ctypes 对象。
    # 默认情况下返回的实际上是经过了同步包装器包装过的。
    # 可以通过 Value 的 value 属性访问这个对象本身。
    v = mp.Value('i',0)  
    
    # 原始锁（非递归锁）对象，类似于 threading.Lock 。
    # 一旦一个进程或者线程拿到了锁，
    # 后续的任何其他进程或线程的其他请求都会被阻塞直到锁被释放。
    # 任何进程或线程都可以释放锁。
    lock = mp.Lock()   # 定义一个进程锁
    p1 = mp.Process(target=job, args=(lock, v, 3))
    p2 = mp.Process(target=job,args=(lock, v, 100)) 
    
    p1.start()
    p2.start()
    
    p1.join()
    p2.join()

if __name__ == '__main__':
    start = time.time()
    multicore()
    end = time.time()
    print('程序运行时间:',end-start)
    # 程序运行时间: 1.981912612915039

控制台下输出结果展示:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 871 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55127' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_2.py'
3
6
9
12
15
18
21
24
27
127
227
327
427
527
627
727
827
927
程序运行时间: 1.9821550846099854
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

test05_3.py (小颗粒度使用锁)

# 第6集共享内存和第7集锁

import multiprocessing as mp
import multiprocessing
import time

def job(lk, v, num):
    for _ in range(9):
        time.sleep(0.1)
        lk.acquire()  # 可以阻塞或非阻塞地获得锁。
        v.value += num
        print(v.value)
        lk.release()  # 释放锁，可以在任何进程、线程使用，并不限于锁的拥有者。

def multicore():
    # 返回一个从共享内存上创建的 ctypes 对象。
    # 默认情况下返回的实际上是经过了同步包装器包装过的。
    # 可以通过 Value 的 value 属性访问这个对象本身。
    v = mp.Value('i',0)  
    
    # 原始锁（非递归锁）对象，类似于 threading.Lock 。
    # 一旦一个进程或者线程拿到了锁，
    # 后续的任何其他进程或线程的其他请求都会被阻塞直到锁被释放。
    # 任何进程或线程都可以释放锁。
    lock = mp.Lock()   # 定义一个进程锁
    p1 = mp.Process(target=job, args=(lock, v, 3))
    p2 = mp.Process(target=job,args=(lock, v, 100)) 
    
    p1.start()
    p2.start()
    
    p1.join()
    p2.join()

if __name__ == '__main__':
    start = time.time()
    multicore()
    end = time.time()
    print('程序运行时间:',end-start)
    # 程序运行时间: 1.0680267810821533

控制台下输出结果展示:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 874 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55139' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_3.py'
3
103
106
206
209
309
312
412
415
515
518
618
621
721
724
824
827
927
程序运行时间: 1.0803272724151611
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>

test05_4.py (较小颗粒度使用锁)

# 第6集共享内存和第7集锁

import multiprocessing as mp
import multiprocessing
import time

def job(lk, v, num):
    for _ in range(9):
        lk.acquire()  # 可以阻塞或非阻塞地获得锁。
        time.sleep(0.1)
        v.value += num
        print(v.value)
        lk.release()  # 释放锁，可以在任何进程、线程使用，并不限于锁的拥有者。

def multicore():
    # 返回一个从共享内存上创建的 ctypes 对象。
    # 默认情况下返回的实际上是经过了同步包装器包装过的。
    # 可以通过 Value 的 value 属性访问这个对象本身。
    v = mp.Value('i',0)  
    
    # 原始锁（非递归锁）对象，类似于 threading.Lock 。
    # 一旦一个进程或者线程拿到了锁，
    # 后续的任何其他进程或线程的其他请求都会被阻塞直到锁被释放。
    # 任何进程或线程都可以释放锁。
    lock = mp.Lock()   # 定义一个进程锁
    p1 = mp.Process(target=job, args=(lock, v, 3))
    p2 = mp.Process(target=job,args=(lock, v, 100)) 
    
    p1.start()
    p2.start()
    
    p1.join()
    p2.join()

if __name__ == '__main__':
    start = time.time()
    multicore()
    end = time.time()
    print('程序运行时间:',end-start)
    # 程序运行时间: 1.9647340774536133

控制台下输出结果展示:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 1034 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>  & 'D:\Anaconda3\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '55162' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试多进程\test05_4.py'
3
103
106
206
209
309
312
412
415
515
518
618
621
721
724
824
827
927
程序运行时间: 1.9803450107574463
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程> conda activate base
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试多进程>
敲代码的小风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python之多进程（multiprocessing）学习【5】：共享内存，锁
qq_36499794的博客
10-28 538
一. 共享内存 在多进程中，如果我们想要定义一个全局变量，让他在各个进程之间进行交流是不行的，所以我们就引入了一个新的概念，全局变量，通过v = mp.Value() 定义了一个全局变量。括号里有参数，后面代码会体现出来。这样它才能够供你提供的cpu内核去使用，并且使用的是同样的内存。 二. 锁 如果你不想你的共享内存被各个进程影响，或者说你不想各个进程之间互相干...
python学习心得（2）多进程顺序执行
weixin_41950973的博客
05-22 914
参照我的上一篇多线程的顺序执行https://blog.csdn.net/weixin_41950973/article/details/106213436 今天，同一个问题用进程来解决。注意点是，进程之间是完全独立的，所以在用condition对象时，需要将condition对象作为参数传递到进程类中，其他都和我上一篇的多线程的解决方法一致。（开始没有注意到这一点，完全照搬多线程的做法，总是得不到想要的结果，郁闷了半天。。。） 问：生成5个进程按照顺序来输出1234512345... 。其中1为进程1
powershell 脚本启动优化
qq_20679687的博客
05-19 877
powershell 启动慢的主要原因是$profile中的终端配置加载时间长。当我们打开powershell终端进行交互时，加载时间长 尚可忍受。但当我们的脚本 执行powershell脚本时，较长的加载时间 是不可接受的。
python 共享内存 锁_(八)8-1多进程锁和共享内存
weixin_35782943的博客
01-14 341
多进程Lock组件当我们使用多进程读写文件时，一个进程写文件，一个进程读文件。如果两个进程同时进行，肯定不行，必须等写结束后，才可以进行多操作。或者多个进程在共享一些资源时，同时只能有一个进程进行访问，需要一个锁机制控制。import multiprocessingimport timelock = multiprocessing.Lock()def add(number,value,lock)...
python 多进程锁Lock和共享内存
weixin_30662849的博客
10-12 144
多进程锁 lock = multiprocessing.Lock() 创建一个锁 lock.acquire() 获取锁 lock.release() 释放锁 with lock: 自动获取、释放锁 类似于 with open() as f: 特点： 谁先抢到锁谁先执行，等到该进程执行完成后，其它进程再抢锁执行 当程序不加锁时： ...
Python3多进程 multiprocessing 模块实例详解
09-20
主要介绍了Python3多进程 multiprocessing 模块,结合实例形式详细分析了Python3多进程 multiprocessing 模块的概念、原理、相关方法使用技巧与注意事项,需要的朋友可以参考下
python multiprocessing多进程变量共享与加锁的实现
09-18
主要介绍了python multiprocessing多进程变量共享与加锁的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python3学习笔记之多进程分布式小例子
12-25
Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于managers模块封装很好，不必了解...
Python多进程并发(multiprocessing)用法实例详解
09-21
主要介绍了Python多进程并发(multiprocessing)用法,实例分析了multiprocessing模块进程操作的相关技巧,需要的朋友可以参考下
简单学习Python多进程Multiprocessing
09-21
主要和大家一起简单的学习Python多进程Multiprocessing，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python - 多线程 Parallel / Multiprocessing 示例
BITDDD小栈
10-21 2029
一.引言 Java 开发中常用到多线程和线程池提高程序运行效率和机器利用率，Python 多线程用到了 Parallel 类 和 Multiprocessing 类，除此之外还有_thread，threading 等很多线程相关的类，可以配合 os，sys，subprocess 等工具类实现复杂的操作。下面的 Demo 通过 sum 求和的例子介绍几种多线程实现方法。 二.Parallel 无 Lock joblib 库下面的 Parallel 实现了并行提高效率的功能，delayed 处执行..
python multiprocessing 共享内存应用
qq_40666620的博客
11-09 1486
根据测试, 共享内存的读写应该都是同步的, 不需要lock 设置: shared_number = multiprocessing.RawValue(ctypes.c_int, 0) 获取 shared_number.value 至于共享什么type的数据, 可以网上搜一搜, 比如string是c_types.c_char_p import multiprocessing import random import os import ctypes def func(number, _shared_num
Python多进程
暗焰之珩的博客
03-26 5596
目录 多进程访问冲突 多进程通信 mp.Queue mp.Pipe Value\Array Manager共享Value、Array、dict、list、Lock、Semaphore等 mp.Manager共享自定义类的实例对象 Python进程池 参考 上接Python多线程，简单记录一下多进程中遇到的问题，本文中将multiprocessing简写为mp。 多进程访问冲...
python多进程模块multiprocessing学习笔记(4)之进程池
敲代码的小风
04-10 489
参考链接: 【莫烦Python】Multiprocessing 让你的多核计算机发挥真正潜力 Python 参考链接: 莫烦多进程学习网站 参考链接: multiprocessing — 基于进程的并行 参考链接: class multiprocessing.Queue([maxsize]) 参考链接: 进程池 ...
powershell conda报错
weixin_42269472的博客
04-06 2079
问题描述： 安装anaconda或conda后，由于变更环境后导致文件配置出错。出现打开powershell出现报错 usage: anaconda [-h] [--disable-ssl-warnings] [--show-traceback] [-v] [-q] [-V] [-t TOKEN] [-s SITE] ... anaconda: error: argument : invalid choice: 'shell.powershel
Python3 进程multiprocessing的基本用法
JiangHui1211的博客
06-16 1493
进程的基本用法： multiprocessing是一个使用类似于线程模块的API支持产生进程的包。 多处理包提供本地和远程并发，通过使用子进程而不是线程有效地侧向执行全局解释器锁。 因此，多处理模块允许程序员充分利用给定机器上的多个处理器。 它可以在Unix和Windows上运行。 import multiprocessing import time def f(name): ...
python多线程的Lock()
万里归来少年心
10-21 3786
 Lock用于锁定。job1和job2对同一个全局变量操作。 import threading def job1(): global A,lock lock.acquire() for i in range(10): A+=1 print("job1",A) lock.release() def job2(): global A,lock lock....
python多进程共享变量Value使用tips
11-10 573
在使用tornado的多进程时，需要多个进程共享一个状态变量，于是考虑使用multiprocessing.Value(对于该变量的具体细节请查阅相关资料)。在根据网上资料使用Value时，由于共享的是字符串，但网上介绍的都是整数或者字符，于是遇到了很多阻碍，通过查询官方文档得出了解决方案。
python多进程multiprocessing 怎么共享变量
最新发布
06-12
在Python中，由于多进程之间的内存空间是隔离的，因此不能直接共享变量。但是，`multiprocessing`模块提供了一些方法来实现多进程之间的数据共享。 其中一个方法是使用`multiprocessing.Manager`类，它是一个进程安全的代理对象，可以在多个进程之间共享。以下是一个简单的示例： ```python from multiprocessing import Process, Manager def worker(d): d['key'] += 1 if __name__ == '__main__': manager = Manager() d = manager.dict({'key': 0}) processes = [] for i in range(4): p = Process(target=worker, args=(d,)) processes.append(p) p.start() for p in processes: p.join() print(d['key']) # 输出 4 ``` 在这个示例中，我们使用`Manager`类创建了一个`dict`对象，并将其传递给多个进程。在每个进程中，我们通过修改`dict`对象来模拟对共享变量的操作。最后，我们在主进程中访问`dict`对象以获取共享变量的值。 除了`Manager`类，`multiprocessing`模块还提供了其他一些共享变量的方法，例如`Value`和`Array`等。这些方法可以用于创建共享的数字和数组。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值