什么是去重呢?
简单来说,数据去重指的是删除重复数据。在一个数字文件集合中,找出重复的数据并将其删除,只保存唯一的数据单元。在我们的数据预处理过程中,这是一项我们经常需要进行的操作。
去重有哪些好处?节省存储空间
提升写入性能
提高模型精度
今天我们就来简单介绍一下,在pandas中如何使用drop_duplicates进行去重。
一、函数体及主要参数
函数体:
df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
主要参数:
subset: 输入要进行去重的列名,默认为None
keep:可选参数有三个:‘first’、 ‘last’、 False, 默认值 ‘first’。其中,first表示: 保留第一次出现的重复行,删除后面的重复行。
last表示: 删除重复项,保留最后一次出现。
False表示: 删除所有重复项。
inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。
(inplace参数在很多时候都需要用到,是一个十分常见的参数,忘记的同学可以看下面)侦探L:如何正确在pandas里使用inplace参数zhuanlan.zhihu.com
二、实例操作
首先还是一样&#x