Python 3 读取大文件内容按行进行分割

她不喜欢喝咖啡

已于 2024-05-20 10:39:55 修改

阅读量399

点赞数 9

分类专栏： # Python 文件处理文章标签： python

于 2024-03-18 13:29:10 首次发布

本文链接：https://blog.csdn.net/yudiandian2014/article/details/136806513

版权

Python 文件处理专栏收录该内容

7 篇文章 0 订阅

订阅专栏

该篇文章介绍了一个Python程序，用于将一个大日志文件按每100行进行分割并保存到不同的文本文件中，使用了datetime模块记录操作时间点。

摘要由CSDN通过智能技术生成


# -*- coding:utf-8 -*-

from datetime import datetime

# 定义最大数量
MaxNumber = 100


def Main():
    # 输入目录 
    source_dir = r'./big.log'
    # 输出目录
    target_dir = r'./split/'
    # 计数器
    flag = 0
    # 文件名
    name = 1
    # 存放数据
    dataList = []
    print("开始。。。。。")
    print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
    with open(source_dir, 'r', encoding='utf-8') as f_source:
        for line in f_source:
            flag += 1
            dataList.append(line)
            if flag == MaxNumber:
                with open(target_dir + "list_" + str(name) + ".txt", 'w+')\
                        as f_target:
                    for data in dataList:
                        f_target.write(data)
                        name += 1
                        flag = 0
                        dataList = []

    # 处理最后一批行数少于 MaxNumber 
    with open(target_dir + "list_" + str(name) + ".txt", 'w+') as f_target:
        for data in dataList:
            f_target.write(data)
            print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

    print("完成。。。。。")


if __name__ == "__main__":
    Main()