python面试--多进程分块处理大型文件

最新推荐文章于 2023-04-22 09:17:21 发布

进阶的菜小布

最新推荐文章于 2023-04-22 09:17:21 发布

阅读量3.2k

点赞数

分类专栏： python面试编程题文章标签： python 面试多进程处理大型文件

本文链接：https://blog.csdn.net/qq_28172757/article/details/74347901

版权

本文探讨了在Python面试中如何使用多进程来高效分块处理大型文件。通过start方法启动进程，利用join确保主进程在所有子进程执行完毕后再继续执行，避免了未完成的进程导致的问题。在循环中启动并加入join，保证了所有进程的顺序执行。

摘要由CSDN通过智能技术生成

# -*- coding: utf8 -*-

import datetime
from multiprocessing import Process, Manager, RLock
from itertools import islice
"""
多进程分块读取文件
"""

class File_Manager(object):

    def func_countfileline(self, filepath):
        """
        计算文件的总行数
        :param filepath: 文件
        :return:int，文件总行数
        """
        num =1
        thefile=open(filepath, 'rb')
        while True:
            buffer = thefile.read(102400)
            if not buffer:
                break

            num += buffer.count('\n')
        thefile.close()
        return num

    def process_found_new(self, FILE_COUNT, pid, result, file, rlock):
        """
        对文件内容进行统计，每次读取最多2000行
        :param FILE_COUNT: 文件读取的起始行
        :param pid: 进程id
        :param result: dict格式，处理的结果
        :param file: 文件
        :par