1.查看重复项 df.duplicated()
df.duplicated(subset=['python','java','C'],keep='first')
参数:subset 特定列有重复项才会显示True
keep:{ 'first', 'last', False}, default 'first'
# 默认 first 保留前一个数据,认为后面数据为重复的。 False 标记所有的都为重复的
具体如下:df = pd.DataFrame(data=np.random.randint(0,100,size=(10,4)),columns=['python','mysql','java','C'])
df.loc[1]=df.loc[5] #设置重复项,第1和第5项相同
df.loc[2]=df.loc[4]
df.loc[6]=df.loc[9]
2.删除重复项
df.drop_duplicates(subset=['python','java','C'],keep='first')
等同于:df.drop(labels=df.loc[df.duplicated(subset=['python','java','C'],keep='last')].index)