python多任务进行处理

线程处理

import concurrent.futures
import random
import time


def task(task_id):
    # 这里是每个线程的具体任务
    print(f'执行{task_id}')
    wait_time = random.randint(5, 5)  # 随机生成等待时间，范围为1到5秒
    time.sleep(wait_time)  # 线程等待指定的时间
    # result = some_operation(task_id)
    return 'result'
def main():
    tasks = range(1, 101)
    results = []

    with concurrent.futures.ThreadPoolExecutor() as executor:
        group_size = 5
        for i in range(0, len(tasks), group_size):
            current_tasks = tasks[i:i + group_size]
            # 提交线程任务并获取Future对象
            future_to_task = {executor.submit(task, task_id): task_id for task_id in current_tasks}

            for future in concurrent.futures.as_completed(future_to_task):
                task_id = future_to_task[future]
                try:
                    result = future.result()  # 获取线程的返回结果
                    results.append(result)
                except Exception as e:
                    print(f'任务 {task_id} 出错: {str(e)}')

    for result in results:
        print(result)


if __name__ == '__main__':
    main()

进程处理

在 Python 中，您可以使用协程和事件循环来实现并发执行任务，并在所有任务完成后再进行下一轮的执行。下面是一个示例代码，展示了如何使用 asyncio 模块实现该功能：
pythonCopy Codeimport asyncio

async def coroutine(task_id):
    # 这里是每个协程的具体任务，可以是耗时的操作或其他需要并发执行的任务
    # 例如，这里可以是发送网络请求、读写文件等操作
    result = await some_async_operation(task_id)
    return result

async def main():
    tasks = [coroutine(i) for i in range(1, 101)]
    while tasks:
        # 并发执行5个协程任务    
        current_tasks = tasks[:5]
        tasks = tasks[5:]
        completed, pending = await asyncio.wait(current_tasks)
        
        # 处理已完成的任务结果
        for task in completed:
            result = task.result()
            # 在这里对每个任务的结果进行处理
            
        # 继续下一轮任务执行
        tasks.extend(pending)

# 使用 asyncio.run() 来运行主函数
asyncio.run(main())

在上述代码中，我们定义了一个 coroutine() 函数作为协程任务的示例，它接受一个任务 ID，并执行相应的操作并返回结果。在 main() 函数中，我们创建了100个任务的列表，并使用 asyncio.wait() 并发执行其中的5个任务。一旦有5个任务全部完成，我们对其结果进行处理，然后再将剩余的任务添加回任务列表中，继续下一轮的执行，直到所有任务都完成。
请注意，上述代码只是一个示例，实际的使用可能需要根据具体情况进行适当的调整和修改。另外，在实际应用中，您可能需要根据需要引入适当的异常处理、任务超时等功能来增强代码的健壮性和可靠性。

协程处理

在 Python 中，您可以使用协程和事件循环来实现并发执行任务，并在所有任务完成后再进行下一轮的执行。下面是一个示例代码，展示了如何使用 asyncio 模块实现该功能：
pythonCopy Codeimport asyncio

async def coroutine(task_id):
    # 这里是每个协程的具体任务，可以是耗时的操作或其他需要并发执行的任务
    # 例如，这里可以是发送网络请求、读写文件等操作
    result = await some_async_operation(task_id)
    return result

async def main():
    tasks = [coroutine(i) for i in range(1, 101)]
    while tasks:
        # 并发执行5个协程任务
        current_tasks = tasks[:5]
        tasks = tasks[5:]
        completed, pending = await asyncio.wait(current_tasks)
        
        # 处理已完成的任务结果
        for task in completed:
            result = task.result()
            # 在这里对每个任务的结果进行处理
            
        # 继续下一轮任务执行
        tasks.extend(pending)

# 使用 asyncio.run() 来运行主函数
asyncio.run(main())

在上述代码中，我们定义了一个 coroutine() 函数作为协程任务的示例，它接受一个任务 ID，并执行相应的操作并返回结果。在 main() 函数中，我们创建了100个任务的列表，并使用 asyncio.wait() 并发执行其中的5个任务。一旦有5个任务全部完成，我们对其结果进行处理，然后再将剩余的任务添加回任务列表中，继续下一轮的执行，直到所有任务都完成。
请注意，上述代码只是一个示例，实际的使用可能需要根据具体情况进行适当的调整和修改。另外，在实际应用中，您可能需要根据需要引入适当的异常处理、任务超时等功能来增强代码的健壮性和可靠性。