Pandas去重函数:drop_duplicates()
df.drop_duplicates(subset=[‘A’,‘B’,‘C’],keep=‘last’,inplace=True)
参数说明:
subset:表示要进去重的列名,默认为 None。
keep:有三个可选参数,分别是 first、last、False,默认为 first,表示只保留第一次出现的重复项,删除其余重复项,last 表示只保留最后一次出现的重复项,False 则表示删除所有重复项。
inplace:布尔值参数,默认为 False 表示删除重复项后返回一个副本,若为 Ture 则表示直接在原数据上删除重复项。
import pandas as pd
data={
'A':[1,3,3,3],
'B':[0,1,2,0],
'C':[4,5,4,4],
'D':[3,3,3,3]
}
df1=pd.DataFrame(data)
print(df1)
df2=df1.drop_duplicates(['B'])#默认返回副本
print(df2)
#输出
A B C D
0 1 0 4 3
1 3 1 5 3
2 3 2 4 3
3 3 0 4 3
A B C D
0 1 0 4 3
1 3 1 5 3
2 3 2 4 3