独热编码python实现_独热编码(one-hot coding)

独热编码主要用于解决分类特征与数值计算的不匹配问题,避免不同类别间欧氏距离产生误导。文中通过实例展示了如何用pandas的get_dummies方法进行独热编码,并讨论了其优缺点,包括扩充特征和可能导致特征空间过大的问题。
摘要由CSDN通过智能技术生成

1 为什么需要独热编码?

直接上案例,一份数据,特征为[“颜色”, “尺码”, “喜欢度”, “类别”],具体数据为[[‘green’,’M’, 10.1,’class1′], [‘red’,’L’, 13.5,’class2′], [‘blue’,’XL’, 15.3,’class1′]]。

这几项中,喜欢度直接是数值型,不用管。类别是label,先不说。对于颜色与尺码这两项,应该如何编码?

先说尺码,尺码的编码形式应该是{“M”: 1, “L”: 2, “XL”: 3},直接转换成数字的形式。那么颜色这一项是否可行?直接将颜色字段编码为{“green”:1, “red”: 2, “blue”: 3},这样似乎否可行?

先上结论,这样不行。我们在模型训练的时候,会对特征做什么?无非就是计算距离。那现在计算green,red,blue三个的距离。d(green, red)=2-1=1,d(red, blue)=3-2=1,d(green, blue)= 3-1=2。问题来了,这几个颜色之间的差距,应该是一样的。都是不同的颜色,不应该映射到欧氏空间,距离不等。这就是这种编码的问题所在。颜色这个离散特征之间没有大小的意义,应该使用独热编码。

那么型号这个字段可以吗?回答是可以的。同样计算距离。d(M,L)=2-1=1,d(L, XL)=3-2=1,d(M,XL)=3-1=2。XL是真的比M大两号的。当离散特征的取值有大小的意义,就应该使用这种数值映射。

2 独热编码现成的包

现成的包有不少ÿ

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值