多线程分块(按字节进行)读取多个文件

最新推荐文章于 2021-02-20 16:19:07 发布

sxf_0123

最新推荐文章于 2021-02-20 16:19:07 发布

阅读量553

点赞数 1

分类专栏： python 文章标签：多线程分块(按字节进行)读取多个文件

本文链接：https://blog.csdn.net/sxf_123456/article/details/98533702

版权

该博客介绍了一种使用多线程按字节分块读取多个文件的方法。首先统计每个文件的大小，然后根据线程数量分配文件块，最后通过ThreadPoolExecutor并行读取和处理文件内容。

摘要由CSDN通过智能技术生成

"""
多线程分块(按字节进行)读取多个文件
1、统计文件的大小
2、根据线程数对文件大小进行分块
3、多线程根据分块行进行读取文件
"""
import os
from concurrent.futures.thread import ThreadPoolExecutor
import time


def size_file(file):
    """
    统计文件大小(字节)
    :return:
    """
    count = os.path.getsize(file)
    return count


def part_size_file(file, thread_num):
    """
    根据文件字节数对文件按字节大小进行分块
    :return:
    """
    size = size_file(file)
    num = size // thread_num  # 计算每块的行数
    i = 0
    tt = []  # 存放分块的行数
    t = 0
    while i < thread_num - 1:
        tt.append((t + i, (i + 1) * num))
        t = (i + 1) * num
        i += 1
    tt.append((t + 1, size))
    return tt


def Read_file(args):
    """
    分块读取文件
    :param tt:
    :param file:
    :return:
    """
    start_pos = args[0][0]
    end_pos = args[0][1]
    print(args[0][0], args[0][1])
    with open(args[1], "