qq_40703206的博客

转载 数据集去重

通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。其中subset这个参数默认‘None’是指选择所有列，即所有列的值都相同我才认为这两行是重复的，inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。也可以自定义为其中一部分列变量名，比如subset=['name','sex','age']。first： 保留第一次出现的重复行，删除后面的重复行。所有重复的行都被删除，没有保留。