OneHotEnconder/LabelEnconder
在机器学习中,通常需要对类别型变量单独做处理,这是因为模型的输入项基本都需要是数值型变量,而类别变量本身不带数值属性,所以需要进行一层转换。
一、OneHotEncondr
1、为什么要独热编码
因为大部分算法是基于向量空间中的度量来进行计算的,为了使非偏序关系的变量取值不具有偏序性,并且到圆点是等距的。使用one-hot编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码,会让特征之间的距离计算更加合理。
2、为什么特征向量要映射到欧式空间
将离散特征通过one-hot编码映射到欧式空间,是因为,在回归,分类,聚类等机器学习算法中,特征之间距离的计算或相似度的计算是非常重要的,而我们常用的距离或相似度的计算都是在欧式空间的相似度计算,计算余弦相似性,基于的就是欧式空间。
3、独热编码优缺点
- 优点:独热编码解决了分类器不好处理类别特征的问题,在一定程度上也起到了扩充特征的作用。它的值只有0和1,不同的类型存储在垂直的空间。
- 缺点:当类别的数量很多时,特征空间会变得非常大。在这种情况下,一般可以用PCA来降维。而且one hot encoding+PCA这种组合在实际中也非常有用。
4、应用场景
- 独热编码用来解决类别特征的离散值问题,经常用在基于参数的模型或基于距离计算的模型。将离散型特征进行one-hot编码的作用,是为了让距离计算更合理。
二、LabelEnconder
1、什么是有序变量和无序变量
有序变量就是学历,如博士研究生,硕士研究生,本科生等在业务含义上本身是有高低之分的。而无序变量在业务含义上是无序的,如品牌、水果、地名等。
2、应用场景
有些模型本身对数值变化不敏感,数值存在的意义更多的是为了排序,即0.1, 0.2, 0.3与1, 2, 3是没有区别的,这部分模型绝大部分是树模型。
如果是树类模型,且变量是有序的,则优先考虑LabelEnconder,并且labelencoder的赋值与顺序一致。
如果是树类模型,且变量是无序的,也是优先考虑LabelEnconder,不用考虑赋值的顺序。
延伸: 什么情况下(不)需要归一化?
- 需要: 基于参数的模型或基于距离的模型,受量纲的影响很大,都是要进行特征的归一化。
- 不需要:基于树的方法是不需要进行特征的归一化,例如随机森林,bagging 和 boosting等。
END
----------------------------------------------------------------
欢迎关注我的公众号!