Pandas数据分析 - 去重 - duplicated() drop_duplicates() 用法

import numpy as np
import pandas as pd

#生成重复数据
df=pd.DataFrame(np.ones([5,2]),columns=['col1','col2'])
df['col3']=['a','b','a','c','d']
df['col4']=[3,2,3,2,2]
df=df.reindex(columns=['col3','col4','col1','col2'])  #将新增的一列排在第一列
df

	col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
2	a	3	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0

#判断重复数据
df.duplicated()

0    False
1    False
2     True
3    False
4    False
dtype: bool


df.duplicated().sum()

1

#删除重复值

df.drop_duplicates() #删除数据记录中所有列值相同的记录


col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0


df.drop_duplicates(['col3']) #删除数据记录中col3列值相同的记录


col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0


df.drop_duplicates(['col4']) #删除数据记录中col4列值相同的记录


	col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0


df.drop_duplicates(['col3','col4']) #删除数据记录中(col3和col4)列值相同的记录


col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0