机器学习之数据编码OneHotEnconder/LabelEnconder

OneHotEnconder/LabelEnconder

在机器学习中，通常需要对类别型变量单独做处理，这是因为模型的输入项基本都需要是数值型变量，而类别变量本身不带数值属性，所以需要进行一层转换。

一、OneHotEncondr

1、为什么要独热编码

因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会让特征之间的距离计算更加合理。

2、为什么特征向量要映射到欧式空间

将离散特征通过one-hot编码映射到欧式空间，是因为，在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。

3、独热编码优缺点

• 优点：独热编码解决了分类器不好处理类别特征的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
• 缺点：当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来降维。而且one hot encoding+PCA这种组合在实际中也非常有用。

4、应用场景

• 独热编码用来解决类别特征的离散值问题，经常用在基于参数的模型或基于距离计算的模型。将离散型特征进行one-hot编码的作用，是为了让距离计算更合理。

二、LabelEnconder

1、什么是有序变量和无序变量

有序变量就是学历，如博士研究生，硕士研究生，本科生等在业务含义上本身是有高低之分的。而无序变量在业务含义上是无序的，如品牌、水果、地名等。

2、应用场景

有些模型本身对数值变化不敏感，数值存在的意义更多的是为了排序，即0.1, 0.2, 0.3与1, 2, 3是没有区别的，这部分模型绝大部分是树模型。

如果是树类模型，且变量是有序的，则优先考虑LabelEnconder，并且labelencoder的赋值与顺序一致。

如果是树类模型，且变量是无序的，也是优先考虑LabelEnconder，不用考虑赋值的顺序。

 

延伸： 什么情况下(不)需要归一化？

• 需要： 基于参数的模型或基于距离的模型，受量纲的影响很大，都是要进行特征的归一化。
• 不需要：基于树的方法是不需要进行特征的归一化，例如随机森林，bagging 和 boosting等。

 

END

----------------------------------------------------------------

欢迎关注我的公众号！