df.groupby().first() 和 df.drop_duplicates() 去重方法对比

本文介绍了使用Python Pandas库进行数据去重的两种方法:groupby与drop_duplicates,并通过实例对比了这两种方法的效果,强调了排序对于比较结果的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

dr = data[['recommend']]
drF = dr.groupby(dr.recommend).first().reset_index() # 162
dF = dr.drop_duplicates()
drF.values==dF.values

out:
array([[False],
[False],
[False],

[False],
[False]])

但通过我自己写的数组对比程序发现drF和dF的recommend元素是完全一样。猜测是因为它们的排序不同,导致drF.values==dF.values 这样做逐个死板对比是对不上的。要用:

drF.sort_values(by='recommend').values==dF.sort_values(by='recommend').values

out:
array([[ True],
[ True],
[ True],

[ True],
[ True]])

都是True,表示数组的值完全相同,证实了上面的猜想是对的。所以以后去重都可用这2种方法,但更推荐dr.drop_duplicates(),因为代码更简洁。

补充( 效果和上面一样,只是指定了要按recommend列来去重,可灵活运用):

dr.drop_duplicates(subset='recommend') 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值