python 进程池里总有一个子进程执行特别慢，求大神指点。

最新推荐文章于 2023-05-08 10:36:28 发布

AAEllisonPang

最新推荐文章于 2023-05-08 10:36:28 发布

阅读量594

点赞数 1

分类专栏： Python 文章标签： python 后端爬虫 java flask

本文链接：https://blog.csdn.net/pang12234/article/details/117256446

版权

在使用Python的进程池执行任务时，发现总是有一个子进程执行速度显著低于其他进程，可能的原因包括：任务分配不均、进程间同步问题、资源竞争或者特定任务的复杂性。解决策略涉及优化任务分配策略、减少资源竞争以及检查并优化慢速任务的代码逻辑。

摘要由CSDN通过智能技术生成

最近在搞python多进程解析文件，遇到一个比较棘手的问题，程序设计采用python multiprocessing.Pool()进程池，服务器48核，程序进程池24,；程序在执行过程中，子进程越往后执行越慢，甚至有某个进程执行时间超长，代码及日志信息如下，跪求大神指点迷津。

import pathlib
import shutil
import multiprocessing
#目录遍历
def create_source_pool(source):
    filelist=[]
    splitFiles = source.rglob('*.txt')
    for f in splitFiles:
        filelist.append(f)
    return filelist
#文件解析
def worker(filePath,targetPath):
    dt=datetime.datetime.now()
    myLogger.info(f'START PARSER:::子进程：{os.getpid()} : {multiprocessing.current_process().name}，启动时间：{dt} cureent parse filePath >>> :{filePath}')
    # myLogger.info(f'START PARSER:{multiprocessing.current_process()} cureent parse filePath >>> :{filePath}')
    projectidInfoPath = targetPath / f'projectidInfo-{filePath.stem}.txt'
    hidInfoPath = targetPath / f&#