pandas dataframe 去重函数

pandas dataframe 去重函数

from pandas import Series, DataFrame
 
data = DataFrame({'k': [1, 1, 2, 2]})
IsDuplicated = data.duplicated()

print IsDuplicated
print type(IsDuplicated)
 
data = data.drop_duplicates()

0    False
1     True
2    False
3     True

   k
0  1
2  2

DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame

这两个方法会判断全部列，你也可以指定部分列进行重复项判段。

例如，希望对名字为k2的列进行去重，