文本切割器

日志文件有时在阅读时加载几乎缓慢,大部分切割器一般不支持多文件或切割速度较慢,且无法满足用户自定义的需求。

考虑python实现,利用Python编程语言可以快捷地完成将大文本文件分割成多个小文件,并且拥有非常快的速度. 使用教程,仅需把需要切割的.log文件放入"需分割文件",然后点击data.exe运行即可,(固定值以100w行为一次切割,不足100w行另算一个切割文件),

仅限".log"使用,如需其他可私信

部分代码如下:

source_dir = '../文件分割/需分割文件'
    target_dir = '../文件分割/分割完成文件/'
    logname_list,logdir_list=logname(source_dir)

    print("---欢迎使用小小伟切割器---")
    print("正在处理---")
    for source_dir_1 in logdir_list:
        datalist = [] # 存放数据
        name = 1 # 文件名
        flag = 0 # 计数器
        index_1=logdir_list.index(source_dir_1)
        var = str(logname_list[index_1])
        with open(source_dir_1, 'r', encoding="utf-8") as f_source:
            for line in f_source:
                flag += 1
                datalist.append(line)

                if flag == 1000000:
                    with open(target_dir + var.split(".log")[0] +"_"+ str(name) + ".log", 'w+') as f_target:
                        for data in datalist:
                            f_target.write(data)
                    name += 1
                    flag = 0
                    datalist = []

        # 少于100万行的
        with open(target_dir +  var.split(".log")[0] +"_"+ str(name) + ".log", 'w+') as f_target:
            for data in datalist:
                f_target.write(data)
        time.sleep(3)
    print("处理完成!!!")

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值