【Python数据分析】Pandas_去重

Panda DataFrame 对象提供了一个数据去重的函数 drop_duplicates()，本节对该函数的用法做详细介绍。

函数格式

drop_duplicates()函数的语法格式如下：

df.drop_duplicates(subset=['A','B','C'],keep='first',inplace=True)

参数说明如下：

• subset：表示要进去重的列名，默认为 None。
• keep：有三个可选参数，分别是 first、last、False，默认为 first，表示只保留第一次出现的重复项，删除其余重复项，last 表示只保留最后一次出现的重复项，False 则表示删除所有重复项。
• inplace：布尔值参数，默认为 False 表示删除重复项后返回一个副本，若为 Ture 则表示直接在原数据上删除重复项。

实际应用

首先创建一个包含有重复值的 DataFrame 对象，如下所示：

import pandas as pd
data={
          
    'A':[1,0,1,1],    
    'B':[0,2,5,0],    
    'C':[4,0,4,4],   
    'D':[1,0,1,1]
}
df=pd.DataFrame(data=data)
print(df)

输出结果：

  A B C D
0 1 0 4 1
1 0 2 0 0
2 1 5 4 1
3 1 0 4 1

1) 默认保留第一次出现的重复项

import pandas as pd
data={
   
    'A':[1,0,1,1],
    'B':