python pandas dataframe 去重函数

转自：http://bluewhale.cc/2016-08-06/use-pandas-filter-and-sort.html

from pandas import Series, DataFrame

data = DataFrame({'k': [1, 1, 2, 2]})

print data

IsDuplicated = data.duplicated()

print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data




执行结果是：



 
 


  
  


   
   

    
    [python] 
    
    
view plain
    
     
copy
    
     
    
    
    
    
   
   

  
  

  
  
   k  
0  1  
1  1  
2  2  
3  2  

 
 

 
 


  
  


   
   

    
    [python] 
    
    
view plain
    
     
copy
    
     
    
    
    
    
   
   

  
  

  
  
0    False  
1     True  
2    False  
3     True  

 
 

 
 


  
  

   
   [python] 
   
   
view plain
   
    
copy
   
    
   
   
   
   
  
  

 
 

 
 
   k  
0  1  
2  2 
DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame

这两个方法会判断全部列，你也可以指定部分列进行重复项判段。
例如，希望对名字为k2的列进行去重