将多行大txt文件拆分为单行txt文件

最新推荐文章于 2024-09-05 13:55:59 发布

小游园

最新推荐文章于 2024-09-05 13:55:59 发布

阅读量900

点赞数 2

分类专栏： Python在石油工程中应用智能钻完井油田大数据

本文链接：https://blog.csdn.net/s0302017/article/details/103443532

版权

本文介绍如何将包含多行的大TXT文件转换为每行单独保存的多个TXT文件，适合需要逐行处理大量文本数据的情况。

摘要由CSDN通过智能技术生成

内容：将一个很多行的txt文件拆分为多个单行的文件尽心操作，可以更加高效的利用内存
 程序目录结构
 bigtxt
	├─finish
	├─log
	└─smalltxt
 BigTxtTosmall.py
# -*- coding: utf-8 -*-
import os
import shutil
rootPath = os.path.abspath(os.path.abspath('.'))

filePath = rootPath+'\\bigtxt\\'


for file in os.listdir(filePath):
    if file not in ("finish","smalltxt","log"):
        with open(filePath+file,'r',encoding='utf-8',errors='ignore') as f:
            i=1
            filename=file[0:len(file)-4]
            for line in f:
                try:
                    line = line[:-1]
                    if len(line) != 0 and line.__contains__("http"):
                        with open(filePath + 'smalltxt\\' + filename + str(i) + '.txt', 'w+',encoding='utf-8') as small:
                            small.write(lin