Python分割文件

最新推荐文章于 2024-05-30 10:17:04 发布
最新推荐文章于 2024-05-30 10:17:04 发布
阅读量425 收藏
点赞数 1
分类专栏： pandas 文章标签： python 机器学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cc2018isdanshen/article/details/119830713
版权
面对一个20万行3万列的大型结构化数据文件，由于内存限制，使用pandas读取会报错。文章介绍了三种解决方案：1) 按列分割成29个小文件；2) 使用pandas的chunksize分块读取并写入；3) 利用Linux的xshell按行分割。其中按列分割的方法更利于后续特征筛选和计算。
摘要由CSDN通过智能技术生成

1. 背景介绍
有一个结构化数据，几十G（20w*3w）,基于数据建模，但列数太多，需要先做特征筛选，再入模，但是数据太大，pandas读取会报Memory error,那么该怎么分割该数据，以求pandas可以读取呢？

2.1 方法1：按列分开
把文件按列分成29个小文件，再逐个读取文件操作

for i in range(29):
    locals()['fp'+str(i+1)] = open('./data1/'+'file'+str(i+1)
最低0.47元/天 解锁文章
后厂村路人丙
关注
专栏目录
Python分割文件以及合并文件
天地一沙鸥
08-01 8293
用Python进行文件操作是比较简单的，在Python中file是内置类型之一，内置的函数open、file都可以创建file对象，创建好之后就可以对其进行读写等操作。近几天看Python Programing 3rd ，觉得书很不错。文件分割的原理很简单：以二进制形式打开文件流，按照指定的大小读取，然后写入新文件。文件合并的原理正好相反。下面的代码摘自PP3rd里面。split_file.py
python简单分割文件的方法（python经典案例）
热门推荐
数据知道的博客
12-23 1万+
以上就是两种Python在处理文件分割时的常用方法。使用这些方法可以很容易地将一个大文件分割成多个小文件，或者按照规则将一个文件分割成多个子文件。在实际应用中，我们可以根据具体需求选择合适的方法。
python分割_python简单分割文件的方法
weixin_39930252的博客
11-21 311
本文实例讲述了python简单分割文件的方法。分享给大家供大家参考。具体如下：有的网站在上传文件时对文件大小有限制，因此可以将大文件分割成多个小文件再上传。#!/usr/bin/env pythondef split(filename, size):fp = open(filename, 'rb')i = 0n = 0temp = open(filename+'.part'+str(i),'wb'...
python拆分合并文件_python实现大文件分割与合并
weixin_39841640的博客
11-29 316
很多时候我们会面临大文件无法加载到内存，或者要传输大文件的问题。这时候就需要考虑将大文件分割为小文件进行处理了。下面是一种用python分割与合并分件的实现。import osFILE_DIR = os.path.dirname(os.path.abspath(__file__))#========================================================# ...
Python实现文件分割功能
最新发布
Aimmon
05-30 1271
效果图。
python实现文件的分割与合并
12-26
使用Python来进行文件的分割与合并是非常简单的。 python代码如下： splitFile–将文件分割成大小为chunksize的块； mergeFile–将众多文件块合并成原来的文件； # coding=utf-8 import os,sys reload(sys) sys....
python分割压缩_python实现文件压缩与解压
weixin_40003233的博客
12-06 632
最近刚刚开始学习Python，现在分享一个小代码，实现文件的压缩与解压。希望能给那些和我一样，刚刚学习Python的小伙伴们一些小小帮助。方法一：通过zipfile模块实现文件的压缩与解压# -*- coding:utf8 -*-import zipfileimport timeimport os# 使用ZipFile('压缩包完整路径')方法获得压缩文件zipfiles=zipfile.ZipF...
Python实现分割文件及合并文件的方法
09-21
接着，它会删除目标目录内已存在的所有文件，以确保新的分割文件不会与旧文件冲突。然后，使用二进制模式打开源文件，并在循环中读取文件内容。每次读取`chunksize`大小的数据块，直到文件末尾。对于每个数据块，它...
Python 高效分割大文件 按行数拆分大文件
zywhehe的博客
07-13 1299
Python 高效分割大文件 按行数拆分大文件
python大文本文件拆分
06-27
输入文件路径，包括文件名。例如：'''D://test.txt''' 按行拆分，输入每个文件最大行数，拆分后的文件在相同路径下。
python文件按行分割脚本
12-11
由于notepad++打不开大于500MB的文本文件，所以写了这段脚本，可以按随意的行数分割大文件，使用很方便。
python 将大文件切分为多个小文件的实例
09-19
今天小编就为大家分享一篇python 将大文件切分为多个小文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python 文件切割
houyanhua1的专栏
09-30 472
#import os #os.mkdir(r"C:\Users\Tsinghua-yincheng\Desktop\day13\split") #创建文件夹 num=10 filesplitlist=[] #文件集合 for i in range(num): filepath=r"C:\切割后的文件\data"+str(i+1)+".txt" file=open(fil
python实现将文件夹内所有txt文件合并成一个文件
08-25 864
#coding=utf-8 import os import os.path #文件夹遍历函数 #获取目标文件夹的路径 filedir = '/home/gjh/txt_document/2' #获取当前文件夹中的文件名称列表 filenames=os.listdir(filedir) #打开当前目录下的result.txt文件，如果没有则创建 f=open...
python实现分割文件
Mr.Yan的专栏
04-12 7822
我们有时候需要对大文件进行分割，从而就可以在记事本等软件中打开以便好做处理，现在使用Python实现一个文件分割的功能，可以按照指定的大小分割文件为一系列子文件。 见代码： #!/usr/bin/python # -*- coding: utf-8 -*- import os def split_file(filename,size): fp=open(filename,'rb')
python拆分_python文件拆分与重组实例
weixin_39838231的博客
11-29 290
文件拆分代码：#-*-encoding:utf-8-*-import osimport sysimport threadingdef getFileSize(file):file.seek(0, os.SEEK_END)fileLength = file.tell()file.seek(0, 0)return fileLengthdef divideFile():fileFullPath = r"...
python分割txt文件
diaojiao6326的博客
08-23 1673
from datetime import datetime def Main(): source_dir = 'E:/code/Modbus_RTU/pass.txt' target_dir = 'E:/code/Modbus_RTU/passs/' # 计数器 flag = 0 # 文件名 name = ...
python拆分大文件（大文件分割）
weixin_44283446的博客
03-11 6013
python拆分大文件前言实现过程 前言 在工作中常常会遇见一些大文件，由于内容太多，使用比如记事本、notePad++等软件也打不开，无法查看内容，最好是将整个文件进行拆分，分开处理。 实现过程 # -*- coding:utf-8 -*- def Main_split(): source = 'C:\\Users\\Desktop\\proc_create_20210228\\proc_create_20210228.json' # 此处一定要建上target文件夹，不然会报路径错误
python分割文件大小
04-28
你可以使用Python中的os模块来获取文件大小，然后使用文件读取和写入功能来将大文件分割成多个小文件。 以下是一个示例代码，可以将大文件按指定大小分割成多个小文件: ```python import os def split_file(file_name, size): # 获取文件大小 file_size = os.path.getsize(file_name) # 分割文件 with open(file_name, 'rb') as f: index = 0 while True: chunk = f.read(size) if not chunk: break index += 1 with open(f'{file_name}.part{index}', 'wb') as chunk_file: chunk_file.write(chunk) ``` `file_name`参数为要分割的文件名，`size`参数为每个分割文件的大小，单位为字节。例如，如果要将一个大小为2GB的文件分割为1GB的小文件，则应该将`size`设为`1024 * 1024 * 1024`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值