python进行拆分大文件

最新推荐文章于 2024-08-18 14:30:51 发布

IBoyMan

最新推荐文章于 2024-08-18 14:30:51 发布

阅读量1.8w

点赞数 11

分类专栏： python、pandas学习文章标签：大文件的拆分 python文件分割

本文链接：https://blog.csdn.net/iboyman/article/details/79419347

版权

python按指定行数把大文件进行拆分

如图大文件有7000多万行，大小为16G

需要拆分成多个200万行的小文件

代码如下：

# -*- coding:utf-8 -*-
from datetime import datetime

def Main():
    source_dir = '/jz_yuanshi_list0206.txt'
    target_dir = '/split/'

    # 计数器
    flag = 0

    # 文件名
    name = 1

    # 存放数据
    dataList = []

    print("开始。。。。。")
    print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

    with open(source_dir,'r') as f_source:
        for line in f_source:
          flag+=1
          dataList.append(line)
          if flag == 2000000:
              with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
                  for data in dataList: