数据去重；

最新推荐文章于 2024-10-03 09:02:12 发布

望舒:-

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量559

点赞数 21

文章标签： python

本文链接：https://blog.csdn.net/2301_78576595/article/details/136675891

版权

本文介绍了Pandas库中用于处理数据重复问题的duplicated()函数，它返回布尔值表示数据重复，以及drop_duplicates()函数，可以删除重复行，还可以指定特定列进行判断。通过实例展示了如何在DataFrame中应用这些方法。

摘要由CSDN通过智能技术生成

对于数据重复的问题我们可以使用duplicated()，drop_duplicates()方法

注意：两个方法都为DataFrame数据对象的方法

duplicated()判断数据是否重复，返回的是布尔值

drop_duplicates()删除重复的行，可以通过指定参数，限定以哪列作为判断依据

duplicated()使用方法：

df1 = pd.DataFrame({'ID':[1.0,2.0,1.0,2.0,3.0],'lenget':[5.1,4.9,5.1,4.9,4.7],'width':[3.5,3.0,3.5,3.0,3.2],'lenhet1':[1.4,1.4,1.4,1.4,1.3],
                    'width2':[0.2,0.2,0.2,0.2,0.2],'Test':['test','test','test','test','test']})
print(df1)
print(df1.duplicated())

运行结果：

    ID  lenget  width  lenhet1  width2  Test
0  1.0     5.1    3.5      1.4     0.2  test
1  2.0     4.9    3.0      1.4     0.2  test
2  1.0     5.1    3.5      1.4     0.2  test
3  2.0     4.9    3.0      1.4     0.2  test
4  3.0     4.7    3.2      1.3     0.2  test
0    False
1    False
2     True
3     True
4    False

drop_duplicates()运行使用方法：

df1 = pd.DataFrame({'ID':[1.0,2.0,1.0,2.0,3.0],'lenget':[5.1,4.9,5.1,4.9,4.7],'width':[3.5,3.0,3.5,3.0,3.2],'lenhet1':[1.4,1.4,1.4,1.4,1.3],
                    'width2':[0.2,0.2,0.2,0.2,0.2],'Test':['test','test','test','test','Test']})
print(df1)
print(df1.drop_duplicates())
print(df1.drop_duplicates('width'))#添加width作为判断

运行结果：

    ID  lenget  width  lenhet1  width2  test
0  1.0     5.1    3.5      1.4     0.2  test
1  2.0     4.9    3.0      1.4     0.2  test
2  1.0     5.1    3.5      1.4     0.2  test
3  2.0     4.9    3.0      1.4     0.2  test
4  3.0     4.7    3.2      1.3     0.2  test

    ID  lenget  width  lenhet1  width2  test
0  1.0     5.1    3.5      1.4     0.2  test
1  2.0     4.9    3.0      1.4     0.2  test
4  3.0     4.7    3.2      1.3     0.2  test

    ID  lenget  width  lenhet1  width2  test
0  1.0     5.1    3.5      1.4     0.2  test
1  2.0     4.9    3.0      1.4     0.2  test
4  3.0     4.7    3.2      1.3     0.2  test