Python 引用外部函数多进程并发

叶V

已于 2023-03-05 11:22:37 修改

阅读量121

点赞数

分类专栏： Python学习文章标签： python 开发语言

于 2023-03-05 11:19:10 首次发布

本文链接：https://blog.csdn.net/qq_34853640/article/details/129343660

版权

Python学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章介绍了一种在Python中利用multiprocessing模块处理大量数据的方法。首先，将需要调用的外部函数名存储在列表中，然后根据处理器能力分割列表以适应并发处理。接着，定义工作流程，通过eval函数动态执行外部文件中的函数，并利用多进程并发执行任务，提高程序效率。

摘要由CSDN通过智能技术生成

思路：

将所需引用的外部函数名定义为变量并写入列表，因为受限于处理器，所以对列表进行分割操作，从而迎合处理进程数量

1.引用

import multiprocessing as mp
import hanshu #外部文件

外部文件：

def a():
    h = "标题a"
    l = "link"
    return h,l
def b():
    h = "标题b"
    l = "link"
    return h,l

def c():
    h = "标题c"
    l = "link"
    return h,l

def d():
    h = "标题d"
    l = "link"
    return h,l

2.处理数据

# 分割
data = ["a", "b", "c", "d"] #外部所引用的函数名
Data = [] #分割后的列
n = 2  # 线程数
for i in range(0, len(data), n):
    Data.append(data[i:i + n])

3.定义工作组

# 此时的Data数据为原始列表分割后的列表，包含子列表
def job(Data):
    for data in Data: 
        for i in data: # 得到子列
            function(i)

4.功能函数

# 功能函数，传入值n即为变量函数名
def function(n):
    h,l= eval('hanshu.'+n+'()') #eval函数返回执行代码结果：hanshu.n()
    print(h)
    return h,l

5.多进程并发

def multcore(Data:list):
    for x in Data: # 此时列包含子列，且每个子列存两个值
        d = 0
        for i in x:
            d += 1
            p = mp.Process(target=job, args=(i,))
            p.start()
            p.join()

6.完整代码

import multiprocessing as mp
import hanshu
# 分割
data = ["a", "b", "c", "d"]
Data = []
n = 2  # 线程数
for i in range(0, len(data), n):
    Data.append(data[i:i + n])

def job(Data):
    for data in Data:
        for i in data:
            function(i)

def multcore(Data:list):
    for x in Data:
        d = 0
        for i in x:
            d += 1
            p = mp.Process(target=job, args=(i,))
            p.start()
            p.join()
# 执行功能
def function(n):
    h,l= eval('hanshu.'+n+'()')
    print(h)
    return h,l

if __name__ == '__main__':
   multcore(data)

运行结果：