【代码模版】数据去重（含多文件批量去重）

最新推荐文章于 2024-08-27 19:28:07 发布

不停下脚步的乌龟

最新推荐文章于 2024-08-27 19:28:07 发布

阅读量941

点赞数

分类专栏：数据预处理mod 文章标签： python 数据分析大数据

本文链接：https://blog.csdn.net/weixin_44680262/article/details/108949371

版权

本文介绍了如何使用Python对单个CSV文件进行去重操作，以及如何遍历文件夹批量处理多个CSV文件去重，特别针对Mac电脑处理.DS_Store隐藏文件的方法。最后讲解了如何合并文件夹内所有CSV文件并进行去重处理。

摘要由CSDN通过智能技术生成

1. 对单个文件进行去重操作

# 查看重复情况
# 参数subset用来指定以某列的重复为标准，默认所有列的值都重复才算重复
# 参数keep用来指定显示重复数据中的第几条记录，默认为第一条记录
print("数据重复值：", DF1.duplicated(subset=None, keep='first').sum()) 
# 数据去重，并查看去重后的shape
DF2 = DF1.drop_duplicates()
print("数据去重后的DF_shape：", DF2.shape)
# 数据去重后原索引缺失，需重构索引【注意】
DF2.index = range(DF2.shape[0])
print