什么是去重呢?
简单来说,数据去重指的是删除重复数据。在一个数字文件集合中,找出重复的数据并将其删除,只保存唯一的数据单元。在我们的数据预处理过程中,这是一项我们经常需要进行的操作。
去重有哪些好处?
- 节省存储空间
- 提升写入性能
- 提高模型精度
今天我们就来简单介绍一下,在pandas中如何使用drop_duplicates进行去重。
一、函数体及主要参数
函数体:
df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
主要参数:
subset: 输入要进行去重的列名,默认为None
keep: 可选参数有三个:‘first’、 ‘last’、 False, 默认值 ‘first’。其中,
- first表示: 保留第一次出现的重复行,删除后面的重复行。
- last表示