这篇博客介绍了如何利用Python的pandas库对Excel文件进行数据去重。首先，通过`pd.read_csv()`读取CSV文件，然后使用`sort_values()`按特定列排序，接着调用`drop_duplicates()`函数针对指定列去除重复项，最后将去重后的数据保存为新的CSV文件。
用python对excel文件去重
代码：
import pandas as pd
import numpy as np
df = pd.read_csv(r’C:\Users\小天使\Desktop\data\prod_to_rules_quchong.csv’)
df.sort_values(‘retro_templates’,ascending=False)#对文件按指定关键字进行排序
print(len(df))
a=df.drop_duplicates([“retro_templates”])#对文件按指定列retro_templates去重
print(len(a))
a.to_csv(r’C:\Users\小天使\Desktop\data\prod_to_rules_quchongle.csv’)#去重后文件重新保存到新文件
扫一扫
886
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
