用python拆分大数据量csv文件

单个数据量多的csv文件转化多个单个数据量小csv文件

转化前的大数据量的csv文件:
在这里插入图片描述
在这里插入图片描述


转化后的多个小数据量的csv文件:
在这里插入图片描述
在这里插入图片描述


本代码利用pandas库读取csv文件、写入文件。再利用列表进行分割匹配操作(该csv文件target为1时是连续两行数据,所以需要上一个与接下来一个的数据名进行比较,相同则被分配到同一个csv文件)

直接上代码:

import pandas as pd
import csv
import numpy as np
import argparse


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--big_csv', type=str, default='D:/untitled/.idea/CenterNet/stage_2_train_labels.csv', help='')
    parser.add_argument('--csv_way', type=str, default='D:/untitled/.idea/CenterNet/label_csv', help='')
    opt=parser.parse_args()
    way_1=opt.big_csv
    way_2=opt.csv_way
    print(opt)


df_2=pd.read_csv(way_1,usecols=[0])
df = pd.read_csv(way_1)
list=[]
num=0

for i in range(130):

    df_1 = df_2.loc[i:i]
    df_1=str(df_1)
    name=df_1[-36:]      #截取倒数第36到结尾
    list.append(name)
    print(name)



    if name==list[i-1]:
        df_3=df.loc[i-1:i]
        df_3.to_csv("%s/%s.csv" %(way_2,name),index=False)


    else:
        df_3=df.loc[i:i]
        df_3.to_csv("%s/%s.csv" %(way_2,name),index=False)
  • 3
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 将一个csv文件拆分多个csv文件是一种常见的数据处理任务。通常,我们拆分csv文件是为了更方便地处理和管理大数据。 要实现这个任务,可以考虑以下步骤: 1. 读取原始的csv文件:使用合适的编程语言或工具(如Python中的pandas库),打开原始csv文件,并将其读取到内存中。 2. 决定拆分的规则:根据需求,决定如何拆分csv数据。例如,可以基于某一列的数值范围、某一列的唯一值或某些其他标准进行拆分。 3. 创建新的csv文件:根据拆分规则,在磁盘上创建多个新的csv文件,用于存储拆分后的数据。可以根据需求命名这些文件。 4. 拆分数据:遍历原始csv文件中的每一行数据,在适当的情况下将其写入到相应的新csv文件中。根据拆分规则,将数据写入不同的文件。 5. 保存和关闭文件:完成数据拆分后,保存并关闭所有新的csv文件。 需要注意的是,在进行拆分的过程中,我们需要合理地处理数据的行顺序、数据一致性以及相关的数据关系。 拆分csv文件可以提高数据的管理效率,更容易进行其他数据处理任务,例如数据分析、数据可视化等。 ### 回答2: 将一个大的CSV文件拆分多个小的CSV文件,可以通过以下几个步骤完成。 首先,读取大的CSV文件,使用合适的编程语言或者工具,例如Python的pandas库,打开CSV文件并将其读入内存。 然后,根据需要将大的CSV文件拆分多个小的CSV文件。可以根据某一列的值,例如日期、地区等,来进行拆分。根据这个列的不同取值,将对应的行数据保存到不同的CSV文件中。 接着,创建多个小的CSV文件,并将对应的行数据写入到各自的文件中。根据拆分的要求,可以为每个文件设置合适的文件名和保存路径。 最后,保存并关闭所有生成的小的CSV文件拆分CSV文件有助于提高数据的处理效率和灵活性。根据具体需求,可以拆分多个文件,方便统计和分析每个文件的数据;也可以将大文件拆分多个文件后,分发给不同的处理器或者团队并行处理,提高整体的处理速度。 需要注意的是,在拆分CSV文件的过程中,要保证数据的完整性和一致性。需要确保同一个数据行的所有列都保存在同一个文件中,以免数据丢失或错乱。另外,合理选择拆分的粒度和拆分的方式,以便于后续的数据处理和分析。 ### 回答3: 将一个csv文件拆分多个csv文件的方法有很多种,可以根据需求选择合适的方法来实现。 一种常见的方法是按照某一列的数值或者某几列的组合值来进行拆分。首先,我们需要读取原始csv文件的内容,并按照需要的方式进行排序或者筛选。 比如,假设我们要按照"地区"这一列的数值来进行拆分,可以先读取该列的数值,然后创建一个以"地区"名称为文件名的新的csv文件,并将符合该"地区"的所有数据写入到新文件中。循环处理所有的地区,最终得到多个以"地区"命名的csv文件。 另一种常见的方法是按照固定的行数来拆分csv文件。我们可以先读取原始csv文件的内容,并计算出总行数。然后,确定每个子csv文件包含的行数,将原始文件按照这一数拆分多个部分。 对于每个子csv文件,我们可以创建一个新的文件,并将对应的行数据写入到新文件中。循环处理所有的子文件,最终得到多个拆分后的csv文件。 需要注意的是,拆分成的每个子csv文件可能需要包含原始文件中的表头行,以确保数据的完整性。另外,在拆分过程中,也需要考虑文件读取、写入和保存的效率和性能,以避免拆分过程过慢或者占用过多的系统资源。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值