python 进程池+全局锁 替代pool.map(适合部分情况)

因为需要控制进程数量,所以使用进程池,涉及到数据库的读写,需要在写入的时候加锁
pool.map只接受一个参数比较不好用,所以选择可接受多参数的pool.apply_async
# 进程池 全局锁+p.apply_async 替代pool.map
from multiprocessing import Pool, Lock
import time


def d(n, k):
    print(n)
    print(k)
    lock.acquire()
    print(n, "锁住")
    # 写入数据库
    time.sleep(3)
    lock.release()
    print(n, "over")


def init(l):
    global lock
    lock = l


if __name__ == '__main__':
    lock = Lock()
    p = Pool(10, initializer=init, initargs=(lock,))

    for i in range(20):
        p.apply_async(d, (i, "hello"))

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中,`multiprocessing`模块提供了一个名为`Pool`的类,用于实现进程。`Pool.map()`方法是该类提供的一个函数,它可以让我们将一个可迭代对象分成若干个小块,并使用多个进程同时处理这些小块。 具体地说,`Pool.map()`接受两个参数:一个函数和一个可迭代对象。它会将可迭代对象分成若干个小块,并使用进程中的进程并行地调用指定的函数来处理这些小块。当所有进程都处理完毕后,`map()`方法会返回一个包含所有小块处理结果的列表,这些结果按照输入顺序排序。 需要注意的是,传给`map()`方法的函数必须是可调用对象,并且只接受一个参数。如果需要传入多个参数,则可以使用`functools.partial()`函数来生成一个偏函数。 以下是一个简单的例子,演示如何使用`Pool.map()`方法: ```python from multiprocessing import Pool def square(x): return x * x if __name__ == '__main__': with Pool(4) as p: result = p.map(square, [1, 2, 3, 4, 5]) print(result) ``` 上述代码中,`square()`函数接收一个参数并返回其平方值。我们使用`Pool(4)`创建了一个包含4个进程进程,并将[1, 2, 3, 4, 5]作为可迭代对象传给了`map()`方法。`map()`方法会自动将这个列表分成若干个小块,并使用进程中的进程并行地调用`square()`函数来处理这些小块。最终,`map()`方法返回了一个包含所有小块处理结果的列表,并打印输出了这个列表。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值