Pandas 数据处理：重复值处理 - duplicated 和 drop_duplicates

在数据处理过程中，经常会遇到数据中存在重复值的情况。Pandas 是一个功能强大的数据分析库，提供了许多用于处理重复值的方法。本文将介绍 Pandas 中的两个重复值处理方法：duplicated 和 drop_duplicates，并提供相应的源代码示例。

1. duplicated 方法

duplicated 方法用于判断数据中的每个元素是否为重复值，并返回一个布尔值的 Series，表示每个元素是否为重复值。该方法的语法如下：

DataFrame.duplicated(subset=None, keep='first')

• subset：可选参数，用于指定列名或列名列表，表示在指定的列中查找重复值。默认为 None，表示在所有列中查找重复值。
• keep：可选参数，表示如何处理重复值。默认值为 ‘first’，表示保留第一个出现的值，后续的重复值将被标记为 True。设置为 ‘last’ 则保留最后一个出现的值，设置为 False 则将所有重复值标记为 True。