使用pandas聚类时的小坑

博客讨论了在使用Pandas进行数据聚类时遇到的类型错误问题。作者通过对比分析发现,当使用一个特征与两个特征进行聚类时,数据类型的处理方式不同,可能导致merge时的类型不匹配。在没有数据的情况下,这种问题尤为突出。博客提出了这个问题的原因可能是Pandas在处理空数据时的类型推断规则,并建议在聚类前检查和统一数据类型以避免类似错误。
摘要由CSDN通过智能技术生成

问题背景:

之前运行测试好好的程序,忽然出现了报错,还是merge时候的类型错误,这个bug有点蹊跷。

问题分析:

代码:进行聚类之后计算平均值与方差

tmp_df = df[['object1', 'float']].groupby(['object1']).head(20).groupby(['object1'])['float'].agg(['mean', 'sum']).reset_index()

这个输出的就是原本的数据类型:一个object,一个float64

tmp_df = http_df[['object1', 'object2', 'float']].groupby(['object1', 'object2']).head(20).groupby(['object1', 'object2'])['float'].agg(['mean']).reset_index()

这个输出就会修改object为float,

差别只在于一个是使用一个特征进行聚类,一个是使用两个特征进行聚类

问题原因(个人猜测,仅供参考):

  • pandas进行聚类的时候,就算之前已经定好各个列的类型,如果里边没有数据的时候,使用一列进行聚类不会修改列的类型,但是如果同时使用两列进行聚类就会修改列的类型。
  • 所以才会出现后面进行merge时候,类型不同报错
  • 有数据输入的时候这个报错不会发生,没有数据的时候就会发生。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值