python分布式进程--managers

本文介绍了Python中处理多任务的方式,包括多线程、多进程和异步IO,特别是聚焦于IO模式和mutilprocessing中的managers子模块。在IO模式中,讨论了阻塞、非阻塞、I/O复用和异步IO等概念。在分布式进程部分,解释了master和worker的角色,以及如何在网络中注册和使用队列进行任务分配和结果获取。
摘要由CSDN通过智能技术生成

多任务实现方法可以是:多线程,多进程,异步IO(python中的协程)--通过单线程或者单进程实现多任务

多任务的任务类型:计算密集型,IO密集型


计算密集型:并行才能根本提高速度,并行数最好是机器核数,过多的线程或者进程反而降低了效率,因为要切换。另外用速度快的语言最好,如C语言

IO密集型:因为IO与cpu的速度差距太大,导致大部分时间都是在等待IO的过程,要尽量把等待的时间做有效的工作,所以并发量可以很大,但是也不能无限大,得有个限度,因为内存有限。这种类型的任务尽量用代码量少的来写,因为语言速度快

IO模式:

-- 阻塞 I/O(blocking IO):阻塞,知道有结果,返回

-- 非阻塞 I/O(nonblocking IO):不阻塞,直接返回

-- I/O 多路复用( IO multiplexing):select,poll,epoll

-- 信号驱动 I/O( signal driven IO)

-- 异步 I/O(asynchronous IO):python是用协程实现的,单线程或者单进程实现多任务

 

mutilprocessing中的managers子模块

大致流程:有master和worker,一个

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中的多进程共享变量可以通过使用`multiprocessing`模块中的`Value`或`Array`来实现。`Value`用于共享单个变量,而`Array`用于共享数组。 在引用中的代码示例中,`multiprocessing`模块中的`Value`和`Array`被用于在多个进程之间共享变量。`Value`用于共享一个整数变量`num`,而`Array`用于共享一个整数数组`arr`。通过调用`Value`和`Array`函数,我们可以创建共享变量和数组,并在多个进程中访问和修改它们的值。 在引用中的代码示例中,`multiprocessing.managers`模块中的`BaseManager`类被用于创建一个自定义的`Manager`对象。通过注册一个自定义的`Counter`类,我们可以在多个进程中共享`Counter`对象。在`Counter`类中,使用`Value`来共享一个整数变量`val`,使用`Lock`来确保多个进程的安全访问。 在引用中的代码示例中,`Manager`对象被用于创建一个共享字符串变量`sharestr`。通过调用`Value`函数并指定类型为`c_char_p`,我们可以创建一个共享的字符串变量。在`greet`函数中,我们可以修改共享的字符串变量的值。 在引用中的代码示例中,使用`Value`和`Lock`来创建了一个共享变量`val`和一个锁对象`lock`。在`increment`方法中,我们使用`with`语句来确保对共享变量的安全访问。 综上所述,Python进程共享变量可以通过使用`multiprocessing`模块中的`Value`和`Array`,或使用`multiprocessing.managers`模块中的`Manager`来实现。通过这些方法,我们可以在多个进程之间共享变量,并确保对变量的安全访问。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值