OneHotEncoder独热编码和 LabelEncoder标签编码

一、机器学习中的特征类别：连续型特征和离散型特征

1、连续型特征

  获取的原始特征，必须对每一特征分别进行归一化，比如，特征A的取值范围是[-1000,1000]，特征B的取值范围是[-1,1].如果使用logistic回归，$w_1\ast x_1+w_2\ast x_2$，因为$x_1$的取值太大了，所以$x_2$基本起不了作用，所以，必须进行特征的归一化，每个特征都单独进行归一化，通常放缩到均值为0，方差为1。
  再者，连续型特征，采用二分法对连续属性进行处理，例如决策树对一个连续属性a“叶子长度”，我们对样本集中的所有属性a的取值（比如有3.9, 5.2, 2.3, 4.4）升序排序(2.3, 3.9, 4.4, 5.2)，然后取属性a相邻两个取值的平均值（3.1, 4.15, 4.8）作为阈值进行二分类，然后计算不同阈值下的信息增益/基尼指数。

2、离散型特征

   对于离散的特征基本就是按照one-hot（独热）编码，该离散特征有多少取值，就用多少维来表示该特征。

二、独热编码

from sklearn.preprocessing import OneHotEncoder

enc = OneHotEncoder()

"""
第一个特征是0，1
第二个特征是0，1，2
第三个特征是0，1，2，3
所以n_values_ 是表示特征个数2，3，4
feature_indices_表示特征位数[0:2]表示第一个特征,[2:5]表示第二个特征,[5:9]表示第三个特征
所以[0,1,1]表示[(1,0),(0,1,0),(0,1,0,0)]
"""

enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
print("enc.n_values_ is:", enc.n_values_)
print("enc.feature_indices_ is:", enc.feature_indices_)
print(enc.transform([[0, 1, 1]]).toarray())

#enc.n_values_ is: [2 3 4]
#enc.feature_indices_ is: [0 2 5 9]
#[[1. 0. 0. 1. 0. 0. 1. 0. 0.]]

  为什么要使用独热编码？独热编码（哑变量 dummy variable）是因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会让特征之间的距离计算更加合理。离散特征进行one-hot编码后，编码后的特征，其实每一维度的特征都可以看做是连续的特征。就可以跟对连续型特征的归一化方法一样，对每一维特征进行归一化。比如归一化到[-1,1]或归一化到均值为0,方差为1

  为什么特征向量要映射到欧式空间？将离散特征通过one-hot编码映射到欧式空间，是因为，在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。

1、独热编码的优缺点

• 优点：独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
• 缺点：当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

2、不用独热编码和不需要归一化

  独热编码用来解决类别型数据的离散值问题。将离散型特征进行one-hot编码的作用，是为了让距离计算更合理，但如果特征是离散的，并且不用one-hot编码就可以很合理的计算出距离，那么就没必要进行one-hot编码。有些基于树的算法在处理变量时，并不是基于向量空间度量，数值只是个类别符号，即没有偏序关系，所以不用进行独热编码。Tree Model不太需要one-hot编码： 对于决策树来说，one-hot的本质是增加树的深度。

  基于参数的模型或基于距离的模型，都是要进行特征的归一化。基于树的方法是不需要进行特征的归一化，例如随机森林，bagging 和 boosting等。

三、标签编码

from sklearn.preprocessing import LabelEncoder
import warnings

warnings.filterwarnings(action='ignore', category=DeprecationWarning)

enc = LabelEncoder()
enc.fit(["paris", "paris", "tokyo", "amsterdam"])
print(list(enc.classes_))  # 三个类别分别为0 1 2
print(enc.transform(["tokyo", "tokyo", "paris"]))  # [2 2 1]
print(enc.inverse_transform([2, 2, 1]))  # 逆过程

#['amsterdam', 'paris', 'tokyo']
#[2 2 1]
#['tokyo' 'tokyo' 'paris']

  Label encoding在某些情况下很有用，但是场景限制很多。比如有一列 [dog,cat,dog,mouse,cat]，我们把其转换为[1,2,1,3,2]。这里就产生了一个奇怪的现象：dog和mouse的平均值是cat，没有任何意义。而像decision tree，random forest和xgboost这些算法能处理好这种转换，而且相比转换前，所需要的内存空间小一点。

四、sklearn预处理