python dataframe删除重复行_2.3.10 DataFrame 查看删除重复项

1.查看重复项 df.duplicated()

df.duplicated(subset=['python','java','C'],keep='first')

参数：subset 特定列有重复项才会显示True

keep:{ 'first', 'last', False}, default 'first'

# 默认 first 保留前一个数据，认为后面数据为重复的。  False 标记所有的都为重复的

具体如下：df = pd.DataFrame(data=np.random.randint(0,100,size=(10,4)),columns=['python','mysql','java','C'])

df.loc[1]=df.loc[5]  #设置重复项，第1和第5项相同

df.loc[2]=df.loc[4]

df.loc[6]=df.loc[9]

2.删除重复项

df.drop_duplicates(subset=['python','java','C'],keep='first')

等同于：df.drop(labels=df.loc[df.duplicated(subset=['python','java','C'],keep='last')].index)