【python】在SLURM上使用multiprocessing并行

dragonbin1122

已于 2024-04-17 23:52:43 修改

阅读量869

点赞数 6

文章标签： python 开发语言

于 2024-04-17 22:11:23 首次发布

本文链接：https://blog.csdn.net/qq_42988706/article/details/137891544

版权

文章介绍了如何使用Python的multiprocessing库对VRP问题进行并行模拟退火求解，通过工作进程池和参数组合优化算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

示例：VRP并行计算

主函数：main-process.py
- complex_func为需要并行的函数，模拟退火解VRP问题，一堆参数
- itertools：生成不同参数组合成的元组，传入complex_func，根据结果选最佳参数
- 工作进程池Pool
- apply_async()：单次启动一个任务，启动后不等这个进程结束又开始执行新任务。 func 只会在一个进程池中的一个工作进程中执行
- r.get()顺序输出complex_func返回的结果：不用在并行过程读写文件就不用Lock；没有r.get()的话并行的complex_func不会执行
- n_jobs = int(os.getenv('SLURM_CPUS_PER_TASK'))：提交到超算，直接读取sbatch的设置，防止py代码并行核数和超算设置不同
- 其他函数print信息也提交到标准错误输出，标准输出只保留结果便于处理：print(xxx, file=sys.stderr)或者sys.stderr.write()，例如

print('%s is running %s' % (multiprocessing.current_process().name, \
        yourfunc.__name__), file=sys.stderr, flush=True)

参考：
- https://blog.csdn.net/BobYuan888/article/details/109266020
- https://zhuanlan.zhihu.com/p/194349143
- https://docs.python.org/zh-cn/3/library/multiprocessing.html#examples

# -*- coding: UTF-8 -*-
import os
import time
import multiprocessing
import itertools
import sys
from VNSSA import VNSSA
from insert import insert
from Data import Data

def complex_func(files, T0, cool_rate, init_capacity, N_weight, iter_num):

    data = Data(

最低0.47元/天解锁文章