python duplicated_pandas DataFrame 重复数据处理 – duplicated()和 drop_duplicates()

DataFrame.duplicated(self, subset: Union[Hashable, Sequence[Hashable], NoneType] = None, keep: Union[str, bool] = ‘first’) → ‘Series’

subset: 列标签(表头)，可以是单个，也可以是列表

keep=’first’(默认)：标记/删除除第一个匹配项以外的重复项。

keep=“last”：标记/删除除最后一个匹配项以外的重复项。

keep=False：标记/删除所有重复项。

return : 返回一个断subset所在行是不是重复行的Boolean Series

DataFrame.drop_duplicates(self, subset: Union[Hashable, Sequence[Hashable], NoneType] = None, keep: Union[str, bool] = ‘first’, inplace: bool = False, ignore_index: bool = False)

subset: 列标签(表头)，可以是单个，也可以是列表

keep=’first’(默认)：标记/删除除第一个匹配项以外的重复项。

keep=“last”：标记/删除除最后一个匹配项以外的重复项。

keep=False：标记/删除所有重复项。

inplace :是否更改源数据

ingore_index:是否忽略index

return 返回一个DataFrame

例子

>>> df2 = pd.DataFrame({'a': ['one', 'one', 'two', 'two', 'two', 'three', 'four'],

... 'b': ['x', 'y', 'x', 'y', 'x', 'x', 'x'],

... 'c': np.random.randn(7)})

>>> df2

a b c

0 one x 0.362045

1 one y -0.451623

2 two x 1.035298

3 two y -0.454305

4 two x -0.660347

5 three x 1.097390

6 four x 0.883549

>>> df2.duplicated('a')

0 False

1 True

2 False

3 True

4 True

5 False

6 False

dtype: bool

>>> df2.duplicated('a', keep='last')

0 True

1 False

2 True

3 True

4 False

5 False

6 False

dtype: bool

>>> df2.duplicated('a', keep=False)

0 True

1 True

2 True

3 True

4 True

5 False

6 False

dtype: bool

>>> df2.drop_duplicates('a')

a b c

0 one x 0.362045

2 two x 1.035298

5 three x 1.097390

6 four x 0.883549

>>> df2.drop_duplicates('a', keep='last')

a b c

1 one y -0.451623

4 two x -0.660347

5 three x 1.097390

6 four x 0.883549

>>> df2.drop_duplicates('a', keep=False)

a b c

5 three x 1.097390

6 four x 0.883549