python pandas 如何去掉/保留数据集中的重复行？

摘要：本文主要是关于如何把去掉数据集中的重复行，也就是去重的工作。

应用场景：

假如我们有如下的一个数据集，6行4列。

此时，我们3个想法。

第一个想法：把所有重复的行去掉

第二个想法：只保留第一次出现的重复行

第三个想法：保留最后一次出现的重复行

这三个想法都可以用pandas中自带一个方法实现。 DataFrame.drop_duplicates()

具体实现如下：

import pandas as pd 
newdata=pd.DataFrame([[1,1,1,1],[1,1,1,1],[2,1,4,3],[5,6,7,9],[5,4,2,1],[2,1,4,9]],columns=['A','B','C','D'])

newdata.drop_duplicates(subset=['A','B','C','D'],keep=False)

上面这一句代码就是把所有重复的行去掉，subset这个参数后面我会提到，keep这个参数就是选择我们前面三个想法中的哪一个？

当keep=False时，就是去掉所有的重复行

当keep=‘first'时，就是保留第一次出现的重复行

当keep='last'时就是保留最后一次出现的重复行。（注意，这里的参数是字符串）

可以看到，第0行和第1行都被去掉了。

newdata.drop_duplicates(subset=['A','B','C','D'],keep='first')

可以看到，第1行被去掉，保留了第0行。当keep='last'时这里就不演示了。

------------------------------------------------------------------------------

下面讲一下subset这个参数。
在上面的场景中，我们对重复的定义是：在某一行，若A、B、C、D这四列如果都相同的话就是重复。
但是有时候，我们重复并不需要所有列都相同，我们只需要其中的某几列相同就可以当作重复。因此subset这个参数就是来设置这个的。
举个栗子，还是上面这个数据集，如果我们想把A列和B列中元素相同的行去掉，只保留第一次出现的行，要怎么做？

很简单，

newdata.drop_duplicates(subset=['A','B'],keep='first')

从结果上我们可以看到，第0行和第1行由于A列B列相同，而且选择保留第一次出现的行，所以第1行被去掉。
第2行和第5行的A列B列相同，保留第一次出现的行，所以第5行被去掉。