python dataframe将数据分成多份

最新推荐文章于 2022-12-10 12:42:49 发布

qq_37760746

最新推荐文章于 2022-12-10 12:42:49 发布

阅读量2.1k

点赞数

分类专栏： python 文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/qq_37760746/article/details/121358101

版权

python 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

该博客介绍了一个Python脚本，使用pandas库读取CSV文件，然后将其分割成大小相等或接近的多个子文件，每个子文件包含原始数据的一部分，便于管理和处理。通过math和tqdm库实现按指定行数切割，并将结果保存为独立的csv文件。

摘要由CSDN通过智能技术生成

import math
import pandas as pd
from tqdm import tqdm
def cut_df(file_name, n):
    df = pd.read_csv(file_name)
    df_num = len(df)
    every_epoch_num = math.floor((df_num/n))
    for index in tqdm(range(n)):
        file_name = f'./{index}.csv'
        if index < n-1:
            df_tem = df[every_epoch_num * index: every_epoch_num * (index + 1)]
        else:
            df_tem = df[every_epoch_num * index:]
        df_tem.to_csv(file_name, index=False)
cut_df('duantou.csv', 20)