使用Python3.6做文本切割

HI:

    使用 python 对一个大文件按照行数进行切割:

# -*- coding: UTF-8 -*-
import os

""""
python 干起活来 是真的慢
"""
def split(fromfile,todir,lineNum):
    # 如果我文件夹不存在,则创建
    if not os.path.exists(todir):
        os.mkdir(todir)
    else:
        # 删除旧的数据
        for fname in os.listdir(todir):
            os.remove(os.path.join(todir,fname))

    partnum = 0
    filenum = 0
    # 打开文件
    inputfile = open(fromfile,'rb')
    # 读取第一行
    lineStr = inputfile.readline()
    # 用一个字符串进行暂存每个子文件的文本
    tempStr = bytes()
    while lineStr:
        partnum += 1
        tempStr = tempStr + lineStr
        if partnum >= lineNum:
            subFile = open(todir + str(filenum), 'wb')
            subFile.write(tempStr)
            subFile.close()
            print(filenum)
            filenum += 1
            partnum = 0
            tempStr = bytes()
        # 读取下一行
        lineStr = inputfile.readline()
        # print(partnum, '\t' , str(lineStr, encoding = "utf-8"))

    subFile = open(todir + 'end', 'wb')
    subFile.write(tempStr)
    subFile.close()

if __name__ == '__main__':
    # 文件夹
    fromfile = 'E:\\tmp\\audio_check_hit_data.txt'
    # 输出路径
    todir = 'E:\\tmp\\outdir2\\'
    # 行数
    lineNum = 100
    # 执行函数
    split(fromfile, todir, lineNum)

跑起来跟乌龟一样,简直疯掉。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值