dataframe 一列的不同值_pandas数据清洗:删除重复值

df.duplicated() :

duplicated方法返回的是一个布尔值Series, 与之前出现的行对比,是否存在重复的行.如果重复则返回True.

先来造一个DF数组,重复的行我已经标识出来了.

使用duplicated方法后,索引3,4都显示为True,因为3行与1行重复了,而4行与2行重复了.

df.drop_duplicates() ⬅注意这里后面是'S'结尾的.

drop_duplicates方法返回的是一个新的DataFrame数组,返回的数组就是duplicated中False的部分.

这里可以清楚的看到,索引值为3和4的部分不见了.

到目前为止,检查重复值都是基于整行来检测,那么假设有下面这样一个数组

我添加了新的一列,这样一来,每一行都不是重复的.我们使用duplicated检查一下,可以看到返回的布尔值没有为True的,意味着没有重复的行出现.

那么我们看one这一列,里面明明只有'a','b'两个类型,假设我现在希望'one'这一列没有重复值的出现,该怎么做呢?

再介绍一下 drop_duplicates() 方法.

在这里未经同意援引作者OraYang的博客内容,作为学习之用.

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

下面还是来个实例看看吧,以这个数组为例.

下面的图中用红箭头标识出来的两个参数都是在默认状态下的参数,就是你填或者不填效果都是这样.

上图中的first是删除重复项,并保存第一次出现的项.

下图中的last是删除重复项,并保存最后出现的项.

接下来再改变一下inplace的参数,它默认状态下是False,这样就不会更改原来的数组data,而且会返回一个新的数组.

将inplace改成True之后将会直接更改你的原始数组data.下图可以看到,运行之后并没有出现新的数组.

再运行data之后就能看到data数组本身已经被改变了.

在有3列的情况下,我们也可以选择其中2列进行重复值的删除,传入的列名使用列表形式.