pythonpandas重复数据统计_如何使用python中的pandas获取所有重复项的列表?

博主正在处理一个数据集,遇到了寻找重复记录的问题。他们使用Pandas库的`duplicated()`方法只能获取到每个重复项的第一个实例。为了能查看所有重复项以分析差异,他们希望获取所有重复项的列表。博客内容涉及到数据帧操作,重复数据检查以及可能的数据分析流程。
摘要由CSDN通过智能技术生成

我列出了可能存在一些出口问题的物品。我想获取重复项的列表,以便可以手动比较它们。当我尝试使用熊猫重复方法时,它仅返回第一个重复。有没有办法获取所有重复项,而不仅仅是第一个?

我的数据集的一个小部分看起来像这样:

ID,ENROLLMENT_DATE,TRAINER_MANAGING,TRAINER_OPERATOR,FIRST_VISIT_DATE

1536D,12-Feb-12,"06DA1B3-Lebanon NH",,15-Feb-12

F15D,18-May-12,"06405B2-Lebanon NH",,25-Jul-12

8096,8-Aug-12,"0643D38-Hanover NH","0643D38-Hanover NH",25-Jun-12

A036,1-Apr-12,"06CB8CF-Hanover NH","06CB8CF-Hanover NH",9-Aug-12

8944,19-Feb-12,"06D26AD-Hanover NH",,4-Feb-12

1004E,8-Jun-12,"06388B2-Lebanon NH",,24-Dec-11

11795,3-Jul-12,"0649597-White River VT","0649597-White River VT",30-Mar-12

30D7,11-Nov-12,"06D95A3-Hanover NH","06D95A3-Hanover NH",30-Nov-11

3AE2,21-Feb-12,"06405B2-Lebanon NH",,26-Oct-12

B0FE,17-Feb-12,"06D1B9D-Hartland VT",,16-Feb-12

127A1,11-Dec-11,"064456E-Hanover NH","064456E-Hanover NH",11-Nov-12

161FF,20-Feb-12,"0643D38-Hanover NH","0643D38-Hanover NH",3-Jul-12

A036,30-Nov-11,"063B208-Randolph VT","063B208-Randolph VT",

475B,25-Sep-12,"06D26AD-Hanover NH",,5-Nov-12

151A3,7-Mar-12,"06388B2-Lebanon NH",,16-Nov-12

CA62,3-Jan-12,,,

D31B,18-Dec-11,"06405B2-Lebanon NH",,9-Jan-12

20F5,8-Jul-12,"0669C50-Randolph VT",,3-Feb-12

8096,19-Dec-11,"0649597-White River VT","0649597-White River VT",9-Apr-12

14E48,1-Aug-12,"06D3206-Hanover NH",,

177F8,20-Aug-12,"063B208-Randolph VT","063B208-Randolph VT",5-May-12

553E,11-Oct-12,"06D95A3-Hanover NH","06D95A3-Hanover NH",8-Mar-12

12D5F,18-Jul-12,"0649597-White River VT","0649597-White River VT",2-Nov-12

C6DC,13-Apr-12,"06388B2-Lebanon NH",,

11795,27-Feb-12,"0643D38-Hanover NH","0643D38-Hanover NH",19-Jun-12

17B43,11-Aug-12,,,22-Oct-12

A036,11-Aug-12,"06D3206-Hanover NH",,19-Jun-12

我的代码当前如下所示:

df_bigdata_duplicates = df_bigdata[df_bigdata.duplicated(cols='ID')]

那里有几个重复的物品。但是,当我使用上面的代码时,我只会得到第一项。在API参考中,我看到了如何获得最后一个项目,但是我希望拥有所有这些项目,因此我可以目视检查它们,以查看为什么我得到了差异。因此,在此示例中,我想获取所有三个A036条目以及11795条目和任何其他重复的条目,而不是仅第一个。非常感谢您的帮助。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值