使用多进程，求一个整数数组里的最大值

Upward_3000

已于 2024-05-19 17:27:31 修改

阅读量811

点赞数 18

分类专栏： python 文章标签： python windows 开发语言

于 2024-05-19 17:23:49 首次发布

本文链接：https://blog.csdn.net/Upward_3000/article/details/139045420

版权

python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

# 在做python头歌实验的时候遇到了新的知识点，遂记录

任务描述

本关任务：了解多线程和多进程的优缺点和应用场景。

编程要求

在右侧编辑器 Begin-End 区间补充代码，使用多线程或者多进程，求一个整数数组里的最大值。

测试说明

测试数据第一行一个整数n表示整数数组的长度，第二行n个整数表示数组里的每个元素，你只需要输出一个数字，表示数组里的最大值即可。

测试输入： 5 8 9 12 8 0 预期输出： 12

实验代码

import math
from multiprocessing import cpu_count
from multiprocessing import Pool

N = int(input())
a = list(map(int, input().split()))
# split() 方法：将输入的字符串分割成多个子字符串，通常是按空格分割。如果需要按其他分隔符分割，可以传递参数给 split() 方法
# map(int, ...) 函数：map 函数接受一个函数和一个可迭代对象作为参数。在这个例子中，它接受 int 函数和由 split() 返回的子字符串列表。map 函数会对列表中的每个元素执行 int 函数，即将每个字符串转换为整数
# list(...) 函数：将 map 函数返回的映射对象转换成列表

def howMany(T):
    ans = 0;
    for i in range(T[0] - 1, T[1]):
        ans = max(ans, a[i])
    return ans
# 对整个数字空间N进行分段CPU_COUNT
def seprateNum(N, CPU_COUNT):
    list = [[i * (N // CPU_COUNT) + 1, (i + 1) * (N // CPU_COUNT)] for i in range(0, CPU_COUNT)]
    list[0][0] = 1
    if list[CPU_COUNT - 1][1] < N:
        list[CPU_COUNT - 1][1] = N
    return list
    
    
if __name__ == '__main__':
# 多进程
#********** Begin *********#
    CPU_COUNT = cpu_count()
    ranges = seprateNum(N, CPU_COUNT)
    
    # with ... as p: 这是一个上下文管理器（context manager）的用法，确保在使用完进程池后，自动关闭并清理进程池。上下文管理器的好处是，它可以自动处理资源的分配和释放，避免手动关闭进程池。
    with Pool(CPU_COUNT) as p: # 使用 Pool 创建一个进程池，并行计算每个分段的最大值
        results = p.map(howMany, ranges) # p.map: map 方法将一个函数应用到一个可迭代对象的每一个元素上，这里是将 howMany 函数应用到 ranges 列表的每一个元素上。map 方法会将任务分配给进程池中的多个进程并行执行。
# map 方法会返回一个列表 results，其中包含每个区间的最大值。这些最大值是各个进程计算出来的结果，map 方法会在所有进程完成任务后收集这些结果并返回

# howMany: 这是我们定义的函数，用于计算数组指定区间内的最大值。它接收一个区间范围作为参数，并返回该区间内的最大值。
# ranges: 这是一个列表，其中每个元素都是一个区间（子数组）的起始和结束索引。这个列表将整个数组分割成多个区间，每个区间由一个进程处理。

# 假设 CPU_COUNT 为 4，ranges 为 [[1, 2], [3, 4], [5, 5]]，数组 a 为 [8, 9, 12, 8, 0]，则：

# 第一个进程处理范围 [1, 2]，即数组的前两个元素 [8, 9]，找到最大值 9。
# 第二个进程处理范围 [3, 4]，即数组的第三和第四个元素 [12, 8]，找到最大值 12。
# 第三个进程处理范围 [5, 5]，即数组的最后一个元素 [0]，找到最大值 0。
# 最终 results 列表为 [9, 12, 0]，主进程对 results 列表取最大值，结果为 12。
        
    print(max(results))
#********** End *********#

代码解析

导入必要模块:
- math, cpu_count, 和 Pool 来自 multiprocessing 模块。
读取输入:
- 使用 input() 读取输入数据并转换为整数数组。
函数 howMany:
- 这个函数计算给定范围内的最大值。
- 输入是一个列表 [start, end]，表示数组的一个子区间。
函数 seprateNum:
- 根据CPU数量将数组分成若干个区间，每个区间的长度尽量相等。
- 返回一个包含多个区间范围的列表。
主程序:
- 确定CPU核心数 CPU_COUNT。
- 调用 seprateNum 函数将数组分段。
- 使用 Pool 创建一个进程池，并并行计算每个分段的最大值。
- 最终在主进程中计算并输出这些结果中的最大值。

运行说明

输入:
- 第一行是整数 n，表示数组的长度。
- 第二行是 n 个整数，表示数组中的元素。
输出:
- 一个整数，表示数组中的最大值。

代码片段解析

with Pool(CPU_COUNT) as p:
    results = p.map(howMany, ranges)

1. `with Pool(CPU_COUNT) as p:`

Pool: 这是 multiprocessing 模块中的一个类，用于创建一个工作进程池。进程池允许你并行执行任务。
CPU_COUNT: 这是传递给 Pool 的参数，表示要创建的进程数量。我们使用 cpu_count() 函数来获取当前系统的CPU核心数，确保我们创建的进程数与可用的CPU核心数一致，以最大化并行执行效率。
with ... as p: 这是一个上下文管理器（context manager）的用法，确保在使用完进程池后，自动关闭并清理进程池。上下文管理器的好处是，它可以自动处理资源的分配和释放，避免手动关闭进程池。

2. `results = p.map(howMany, ranges)`

p.map: map 方法将一个函数应用到一个可迭代对象的每一个元素上，这里是将 howMany 函数应用到 ranges 列表的每一个元素上。map 方法会将任务分配给进程池中的多个进程并行执行。
howMany: 这是我们定义的函数，用于计算数组指定区间内的最大值。它接收一个区间范围作为参数，并返回该区间内的最大值。
ranges: 这是一个列表，其中每个元素都是一个区间（子数组）的起始和结束索引。这个列表将整个数组分割成多个区间，每个区间由一个进程处理。

详细执行流程

创建进程池:
- Pool(CPU_COUNT) 创建一个包含 CPU_COUNT 个进程的进程池。进程池管理这些进程并将任务分配给它们。
将函数应用到数据:
- p.map(howMany, ranges) 会将 ranges 列表中的每一个元素（即一个区间范围）传递给 howMany 函数，并将每个区间的最大值计算出来。map 方法会自动将这些计算任务分配给进程池中的多个进程并行处理。
获取结果:
- map 方法会返回一个列表 results，其中包含每个区间的最大值。这些最大值是各个进程计算出来的结果，map 方法会在所有进程完成任务后收集这些结果并返回。
自动关闭进程池:
- with 语句块结束时，进程池 p 会被自动关闭。上下文管理器确保资源被正确释放，避免资源泄漏。