可以使用 df.drop_duplicates()
方法来删除重复行。 如果只想删除某一列相同的行,可以在调用方法时设置参数 subset
来指定要比较的列。 例如,如果要删除 "column1" 列相同的行,可以这样做:
df.drop_duplicates(subset=["column1"])
如果需要保留第一个重复的行,可以设置参数 keep='first'
,如果要保留最后一个重复的行,可以设置参数 keep='last'
。
需要注意的是,drop_duplicates() 只会改变原来的 DataFrame,需要配合重新赋值使用