python中多进程及multiprocessing进程池使用——批量读取excel文件

最新推荐文章于 2024-08-13 07:30:00 发布

hynkoala

最新推荐文章于 2024-08-13 07:30:00 发布

阅读量4.5k

点赞数 3

分类专栏： python

本文链接：https://blog.csdn.net/hynkoala/article/details/93895004

版权

本文通过实例对比了手动创建多进程、使用multiprocessing进程池以及单进程读取大量Excel文件的效率。结果显示，创建适当数量的进程能显著提升执行效率，而过多的进程可能导致反效果。最佳实践是根据CPU核心数设定进程数。

摘要由CSDN通过智能技术生成

首先准备:当前文件上级目录下有个excels目录，目录里存在15份.xls文件，每个文件1000条数据，需要通过多进程对这些文件读取为pandas的dataframe格式

手动创建多进程读取文件（进程数等于任务数）

# @datetime:6/26/0026
"""通过多进程加速读取excel的测试"""
__author__ = "hanyaning@deri.energy"
import os.path
import time
from service import logger
import pandas as pd
from multiprocessing import Process, Manager
startTime = time.time()

logger = logger.MyLogger("multi_process").getLogger()


def getExcelData(path, return_data=None, file_name=""):
    global startTime
    logger.info("开始读取Excel文件，当前进程pid：" + str(os.getpid()))
    if not os.path.exists(path):
        raise FileNotFoundError()
    if os.path.isfile(path):
        return_data[file_name] = pd.read_excel(path, skiprows=1, skipfooter=1)
        logger.info("读取Excel文件完毕，当前进程pid：" + str(os.getpid()))

if __name__ == "__main__":
    excel_path = os.path.join(os.getcwd(), "../excels")
    xls_names = [x for x in os.listdir(excel_path) if x.endswith(".xls")