Python将csv文件以某列为条件分类切割

最新推荐文章于 2024-04-24 15:56:44 发布

胖了个头

最新推荐文章于 2024-04-24 15:56:44 发布

阅读量1w

点赞数 5

分类专栏： Python 文章标签： Python csv 切割

本文链接：https://blog.csdn.net/liuquanfeng123/article/details/100862923

版权

本文介绍如何使用Python将大型csv文件按照日期列进行分类切割，分为多个小的csv文件。步骤包括读取文件、定位分类列、删除重复项，并将同一类数据保存到单独的文件中。

摘要由CSDN通过智能技术生成

背景

项目中有一个数据文件数量庞大，一个文件中按照年月日分成几十万条数据，想试试能不能用python把它简单切割一下，按照日期分类切成小的csv文件。
于是在网上找了很多资料，结合自己的一些修改，整理了一下，方便以后再用。

大概步骤

1、读取文件

2、找出需要分类的列

3、将此列中重复的内容删除，每类剩余一条

4、把该列所有符合某一类的内容存入一个csv文件中

上代码

import pandas as pd

# 读取文件数据
df=pd.read_csv('D:\\接收的文件\\lqf.csv', sep=',',engine='python',header=[0])

# 列csv文件中所有列
df.columns = ['year', 'date', 'statefips', 'countyfips', 'ctfips', 'latitude', 'longitude', 'DS_PM_pred', 'DS_PM_stdd']

#  删除date列中的重复项，也就是说剩下的date都是已经分好的类别
date_cate = df.drop_duplicates(subset=['date'])
print(date_cate.date)
print(range(len(date_cate)))    # date中的所有类，也就是文件数
for name in dat