python 大txt分段读取_python 超大txt 按行分块多线程读取

首先：使用ultra edit 打开获取txt行数;

然后：确定开启的线程数量，计算每个线程读取txt的行数设置为n_size

import time, threading

import pandas as pd

from itertools import islice

‘‘‘

Reader类，继承threading.Thread

@__init__方法初始化

@run方法实现了读文件的操作

‘‘‘

class Reader(threading.Thread):

def __init__(self, file_name, n, nlong):

super(Reader, self).__init__()

self.file_name = file_name

self.n = n

self.nlong = nlong

self.data = pd.DataFrame(columns=[

‘发展渠道编码(全渠道)‘,‘发展渠道名称‘,‘客户id(脱敏后的移动用户识别码)‘,‘年龄‘,‘性别‘,‘产品名称(201907)‘,‘档位(201907)‘,‘出账收入(201907)‘,‘产品名称(201908)‘,‘档位(201908)‘,‘出账收入(201908)‘,‘产品名称(201909)‘,‘档位(201909)‘,‘出账收入(201909)‘,‘产品名称(201910)‘,‘档位(201910)‘,‘出账收入(201910)‘,‘产品名称(201911)‘,‘档位(201911)‘,‘出账收入(201911)‘,‘产品名称(201912)‘,‘档位(201912)‘,‘出账收入(201912)‘,‘入网时间‘,‘离网时间取唯一标识‘,‘2019年7月‘,‘工作地的经纬度网格‘,‘2019年